为什么在python中使用lxml时xpath会失败？

Question

下面是一个我试图从中获取数据的示例网页。http://www.makospearguns.com/product-p/mcffgb.htm

xpath取自chrome开发工具，firefox中的firepath也能找到它，但使用lxml它只返回一个空的“文本”列表。

from lxml import html
import requests

site_url = 'http://www.makospearguns.com/product-p/mcffgb.htm'
xpath = '//*[@id="v65-product-parent"]/tbody/tr[2]/td[2]/table[1]/tbody/tr/td/table/tbody/tr[2]/td[2]/table/tbody/tr[1]/td[1]/div/table/tbody/tr/td/font/div/b/span/text()'

page = requests.get(site_url)
tree = html.fromstring(page.text) 
text = tree.xpath(xpath)

使用

print(tree.text_content().encode('utf-8'))

显示数据在那里，但xpath似乎无法找到它。我有什么遗漏吗？我尝试过的大多数其他站点使用lxml和chromedev工具中的xpath都可以很好地工作，但我发现有一些站点给出了空列表。

Answer 1

我有一个类似的问题（当您作为XPath进行复制时插入tbody元素）。正如其他人回答的那样，您必须查看实际的页面源代码，尽管给定XPath的浏览器是一个很好的起点。我发现，删除tbody标记通常会修复它，为了测试这一点，我编写了一个小型Python实用程序脚本来测试XPath：

#!/usr/bin/env python
import sys, requests
from lxml import html
if (len(sys.argv) < 3):
     print 'Usage: ' + sys.argv[0] + ' url xpath'
     sys.exit(1)
else:
    url = sys.argv[1]
    xp = sys.argv[2]

page = requests.get(url)
tree = html.fromstring(page.text)
nodes = tree.xpath(xp)

if (len(nodes) == 0):
     print 'XPath did not match any nodes'
else:
     # tree.xpath(xp) produces a list, so always just take first item
     print (nodes[0]).text_content().encode('ascii', 'ignore')

（这是Python2.7，以防非函数“print”没有泄露）

Answer 2

xpath根本就是错的

以下是页面中的片段：

<form id="vCSS_mainform" method="post" name="MainForm" action="/ProductDetails.asp?ProductCode=MCFFGB" onsubmit="javascript:return QtyEnabledAddToCart_SuppressFormIE();">
      <img src="/v/vspfiles/templates/MAKO/images/clear1x1.gif" width="5" height="5" alt="" /><br />
      <table width="100%" cellpadding="0" cellspacing="0" border="0" id="v65-product-parent">
        <tr>
          <td colspan="2" class="vCSS_breadcrumb_td"><b>
&nbsp; 
<a href="http://www.makospearguns.com/">Home</a> > 

您可以看到，具有id为"v65-产品-父"的元素属于类型table，并且具有子元素tr'。

只能有一个元素具有这样的id（否则它将被破坏为xml）。

xpath期望tbody作为给定元素（表）的子元素，而整个页面中没有。

这个可以通过

>>> "tbody" in page.text
False

如果您只是通过下载此页面

$ wget http://www.makospearguns.com/product-p/mcffgb.htm

并查看其内容，它不包含名为tbody

但是如果你使用Chrome开发者工具，你会发现一些。

它是怎么来的？

如果JavaScript在浏览器中发挥作用并生成一些页面内容，这种情况经常发生。但正如LegostrMotropr所指出的，这不是我们的情况，这次是浏览器，它修改文档以使其正确。

你必须给某种浏览器一个机会。例如，如果您使用selenium，您将得到它。

from selenium import webdriver
from lxml import html

url = "http://www.makospearguns.com/product-p/mcffgb.htm"
xpath = '//*[@id="v65-product-parent"]/tbody/tr[2]/td[2]/table[1]/tbody/tr/td/table/tbody/tr[2]/td[2]/table/tbody/tr[1]/td[1]/div/table/tbody/tr/td/font/div/b/span/text()'

browser = webdriver.Firefox()
browser.get(url)
html_source = browser.page_source
print "test tbody", "tbody" in html_source

tree = html.fromstring(html_source) 
text = tree.xpath(xpath)
print text

什么指纹

$ python byselenimum.py 
test tbody True
['$149.95']

当涉及到浏览器内的更改时，Selenium非常棒。然而，这是一个有点沉重的工具，如果你可以做它更简单的方式，这样做。乐高Stormrtopr已经提出了这样一个更简单的解决方案，用于处理简单抓取的网页。

Answer 3

浏览器经常更改提供给它的HTML以使其“有效”。例如，如果为浏览器提供此无效HTML：

<table>
  <p>bad paragraph</p>
  <tr><td>Note that cells and rows can be unclosed (and valid) in HTML
</table>

要呈现它，浏览器会很有帮助，并尝试使其成为有效的HTML，并且可能会将其转换为：

<p>bad paragraph</p>
<table>
  <tbody>
    <tr>
      <td>Note that cells and rows can be unclosed (and valid) in HTML</td>
    </tr>
  </tbody>
</table>

以上更改是因为

使用此“固定”HTML：

<p>bad paragraph</p>
<table>
  <tbody>
    <tr>
      <td>Note that cells and rows can be unclosed (and valid) in HTML</td>
    </tr>
  </tbody>
</table>

如果我们试图针对

//td
//tr/td
//tbody/tr/td
/table/tbody/tr/td
/table//*/text()

而且这个名单还在继续。。。

然而，一般来说，浏览器将为您提供列出DOM中每个元素的最精确（也是最不灵活）的XPath。在这种情况下：

/table[0]/tbody[0]/tr[0]/td[0]/text()

这就是为什么当尝试使用原始超文本标记语言时，开发人员工具生成的XPath经常会给您错误的Xpath。

解决方案是，始终参考原始HTML并使用灵活但精确的XPath。

检查持有价格的实际超文本标记语言：

<table border="0" cellspacing="0" cellpadding="0">
    <tr>
        <td>
            <font class="pricecolor colors_productprice">
                <div class="product_productprice">
                    <b>
                        <font class="text colors_text">Price:</font>
                        <span itemprop="price">$149.95</span>
                    </b>
                </div>
            </font>
            <br/>
            <input type="image" src="/v/vspfiles/templates/MAKO/images/buttons/btn_updateprice.gif" name="btnupdateprice" alt="Update Price" border="0"/>
        </td>
    </tr>
</table>

如果你想要价格，实际上只有一个地方可以看！

//span[@itemprop="price"]/text()

这将返回：

$149.95