从一个页面打印 html 不会显示所有带有 python 和 urllib2 的源页面 [重复]

Question

我正在尝试阅读亚马逊的特定页面。

req = urllib2.Request('http://www.amazon.com/Upright-Citizens-Brigade-Comedy-Improvisation/dp/0989387801/ref=lp_1_1_6/175-0367440-7496156?ie=UTF8&qid=1376827779&sr=1-6%20buybox._V181901516_.png)%20center%20top%20no-repeat;')
req.add_header('User-agent', 'Mozilla/5.0\
            (Windows NT 6.2; WOW64) AppleWebKit/537.11 (KHTML, like Gecko)\
            Chrome/23.0.1271.97 Safari/537.11')
response=urllib2.urlopen(req)
html = response.read()
print html

我试图从一个新项目“$25.00”中读取价格，该价格显示在页面的源代码中，但该部分没有显示在html打印中。我做错了什么？

Answer 1

您应该使用html解析器，如lxml或BeautifulSoup。下面是一个使用＜code＞lxml＜/code＞的示例：

parser = etree.HTMLParser()
root = etree.fromstring(html, parser=parser)

print root.xpath('//td[@class="a-text-right dp-new-col"]/a/span/text()')[0]

指纹：

$25.00

请注意，所需的标记及其值是使用 xpath 表达式找到的：

XPath，即 XML 路径语言，是一种用于从 XML 文档中选择节点的查询语言。

另请参阅：

< li >使用Python解析HTML < li >在Python中解析HTML

希望有帮助。