Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
使用BeautifulSoup解析这段代码,能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.prettify())
# <html>
# <head>
# <title>
# The Dormouse's story
# </title>
# </head>
# <body>
# <p class="title">
# <b>
# The Dormouse's story
# </b>
# </p>
# <p class="story">
# Once upon a time there were three little sisters; and their names were
# <a class="sister" href="http://example.com/elsie" id="link1">
# Elsie
# </a>
# ,
# <a class="sister" href="http://example.com/lacie" id="link2">
# Lacie
# </a>
# and
# <a class="sister" href="http://example.com/tillie" id="link2">
# Tillie
# </a>
# ; and they lived at the bottom of a well.
# </p>
# <p class="story">
# ...
# </p>
# </body>
# </html>
soup.title
# <title>The Dormouse's story</title>
soup.title.name
# u'title'
soup.title.string
# u'The Dormouse's story'
soup.title.parent.name
# u'head'
soup.p
# <p class="title"><b>The Dormouse's story</b></p>
soup.p['class']
# u'title'
soup.a
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
soup.find_all('a')
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.find(id="link3")
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
安装：
如果你用的是新版的Debain或ubuntu,那么可以通过系统的软件包管理来安装:
$ apt-get install Python-bs4
Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理安装,那么也可以通过 easy_install 或 pip 来安装.包的名字是 beautifulsoup4 ,这个包兼容Python2和Python3.
$ easy_install beautifulsoup4
$ pip install beautifulsoup4
(在PyPi中还有一个名字是 BeautifulSoup 的包,但那可能不是你想要的,那是 Beautiful Soup3 的发布版本,因为很多项目还在使用BS3, 所以 BeautifulSoup 包依然有效.但是如果你在编写新项目,那么你应该安装的 beautifulsoup4 )
如果你没有安装 easy_install 或 pip ,那你也可以 下载BS4的源码 ,然后通过setup.py来安装.
$ Python setup.py install
如果上述安装方法都行不通,Beautiful Soup的发布协议允许你将BS4的代码打包在你的项目中,这样无须安装即可使用.
作者在Python2.7和Python3.2的版本下开发Beautiful Soup, 理论上Beautiful Soup应该在所有当前的Python版本中正常工作
-
BeautifulSoup简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Uni
-
1.BeautifulSoup简介 Beautiful Soup 提供一些简单的、python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup 自动将输入文档转换为 Unicode 编码，输出文档转换为 utf-8 编码。你不需要考虑编码方式，除非文档没有指
-
目录 一.标签选择器 1.获取文本内容 .string 2.获取标签名称 .name 3.获取属性的值 二.嵌套 1.子节点与子孙节点 1.获取子节点 2.获取子孙节点, .descendants返回一个生成器 2.父节点与祖先节点 1. 获取父节点 3.兄弟节点 标准选择器 1.使用find_all()根据标签名查找 1.get_text() 获取内容 2.string获取文字信息 2.
-
1.库的基本使用 1.1 安装库 pip install beautifulsoup4==4.9.1 pip install lxml # 解析器更加强大，速度更快 1.2 导入库 from bs4 import BeautifulSoup 1.3 不同文件操作 html soup=BeautifulSoup(html,'lxml') print(soup) # 打印html print
-
HTML5 Boilerplate 默认提供两个 html 页面： index.html 404.html index.html no-js类 no-js 类可以让开发者依据 JavaScript 被启用（.js）或被禁止(.no-js)两种状态，更轻易准确地添加自定义样式。 使用这个技巧也有助于避免浏览器闪烁（FOUC）。 lang 属性 请认真考虑在 <html> 中添加 lang 属性，从而
-
问题内容： 在nodejs上有像Ruby的nokogiri这样的东西吗？我的意思是用户友好的HTML解析器。 我在Node.js模块页面上看到了一些解析器，但是找不到漂亮又新鲜的东西。 问题答案： 如果要构建DOM，可以使用jsdom。 还有cheerio，它具有jQuery接口，并且比旧版本的jsdom快很多，尽管如今它们的性能相似。 您可能想看一下htmlparser2，它是一个流解析器，根据
-
问题内容： 什么HTML解析器具有以下功能： 快速 线程安全 可靠且无错误 解析HTML和XML 处理错误的HTML 有一个DOM实现 支持HTML4，JavaScript和CSS标签 相对简单的面向对象的API 您认为哪种解析器更好？ 谢谢。 问题答案： ApacheTika是最佳选择。Apache最近从现有项目中提取了许多子项目并将其公开。提卡（Tika）是其中之一，以前是Apache Luc
-
问题内容： 我正在开发一个从网站上抓取数据的应用程序，我想知道应该如何获取数据。具体来说，我需要包含在使用特定CSS类的许多div标签中的数据-目前（出于测试目的）我只是在检查 在HTML的每一行中-都可以，但是我不禁感到有更好的解决方案。 有什么好方法可以给类添加一行HTML并提供一些好方法，例如： 问题答案： “ JTidy是HTML Tidy的Java端口，HTML Tidy是HTML语法检
-
本文向大家介绍使用PHP的HTML DOMDocument解析HTML，包括了使用PHP的HTML DOMDocument解析HTML的使用技巧和注意事项，需要的朋友参考一下 可以通过以下代码获取<div>标记内的<div>标记内的文本，其中<div>内的class =“ main”内- 示例 输出结果 这将产生以下输出-
-
问题内容： 总而言之，我们正在使用AngularJS开发一个Web应用程序，并且我们有一个用例/需求（根本不会经常发生），在此我们需要从静态服务器中检索完整的HTML文档。但是，似乎$ http对象返回了原始HTML字符串作为其“数据”。我们试图避免使用外部库（例如jQuery），但是我们需要将该原始HTML字符串解析为可查询的DOM对象。我们可以使用iframe并完成它，但是出于众所周知的原因，
-
前面介绍了很多眼花缭乱的新技术，关于渲染，关于硬件加速，关于布局，关于其他很多，同大家一样，我也花了很多时间来消化它们。本章介绍稍微基础些的话题（本系列的写作顺序完全是随心所欲地），就是在渲染整个过程的初始阶段---HTML解析。不过这不表示它简单，其实这里是非常绕人的。在前面描述渲染过程，其实也是回避了这些方面的很多细节，原因也很简单，我自己也没有完全仔细地了解清楚. :-( 现在又重新阅读和d
-
问题内容： 到目前为止，我一直在使用Cobra，因为它很容易，但是不幸的是，它在一些测试用例中存在一些问题。有人建议使用经过测试的库吗？ 我尝试了Cobra内置的HTMLCleaner并没有运气。 问题答案： Mozilla HTML Parser 看起来很有趣。根据定义，它应该和Gecko引擎本身一样好，这很可能满足您的需