使用Python解析HTML[重复]

Question

我想使用Python创建一个函数来获取网站内容，例如获取网站组织内容。

在代码中，组织是东京大学:

<tr class="odd">
  <th>Organization:</th>
  <td>University of Tokyo</td>
</tr>

我如何能直接获得网站内容，而不需要任何新的安装，如获得http://www.ip-adress.com/ip_tracer/157.123.22.11

Answer 1

使用urllib2.urlopen，您将收到403禁止访问错误，因为此网站正在通过检查它是否被识别的用户代理访问来过滤访问。所以这是完整的事情：

import urllib2
import lxml.html as lh

req = urllib2.Request("http://www.ip-adress.com/ip_tracer/157.123.22.11", headers={'User-Agent' : "Magic Browser"})
html = urllib2.urlopen(req).read()
doc=lh.fromstring(html)
print ''.join(doc.xpath('.//*[@class="odd"]')[-1].text_content().split())
>>> 
Organization:ZenithDataSystems

Answer 2

使用美肤汤：

import bs4

html = """<tr class="odd">
  <th>Organization:</th>
  <td>University of Tokyo</td>
</tr>
"""
soup = bs4.BeautifulSoup(html)
univ = soup.tr.td.getText()
assert univ == u"University of Tokyo"

编辑：

如果需要先阅读HTML，请使用urllib2：

import urllib2

html = urllib2.urlopen("http://example.com/").read()

Answer 3

我喜欢美化汤，它可以很容易地访问超文本标记语言字符串中的数据。实际的复杂性取决于超文本标记语言是如何形成的。如果超文本标记语言使用“id”和“class”，那很容易。如果不是，你依赖于更静态的东西，比如“第一个div，第二个列表项，…”，如果超文本标记语言的内容变化很大，那就太可怕了。

要下载超文本标记语言，我引用了美汤文档中的示例：

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen("http://www.icc-ccs.org/prc/piracyreport.php")
soup = BeautifulSoup(page)
for incident in soup('td', width="90%"):
    where, linebreak, what = incident.contents[:3]
    print where.strip()
    print what.strip()
    print