我们可以使用XPath与BeautifulSoup吗？

Question

我正在使用BeautifulSoup刮取一个URL，并使用以下代码查找td标记，其类为'empformbody':

import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
req = urllib2.Request(url)
response = urllib2.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page)

soup.findAll('td',attrs={'class':'empformbody'})

现在，在上面的代码中，我们可以使用findall获取标记和与它们相关的信息，但我想使用XPath。是否可以将XPath与BeautifulSoup一起使用？如果可能，请给我提供示例代码。

Answer 1

不，BeautifulSoup本身不支持XPath表达式。

另一个库lxml支持XPath1.0。它有一个BeautifulSoup兼容模式，它将尝试像Soup那样解析破碎的HTML。然而，缺省的lxml HTML解析器在解析坏掉的HTML方面做得同样好，而且我相信它更快。

一旦将文档解析为lxml树，就可以使用.xpath()方法搜索元素。

try:
    # Python 2
    from urllib2 import urlopen
except ImportError:
    from urllib.request import urlopen
from lxml import etree

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)

import lxml.html
import requests

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)

from lxml.cssselect import CSSSelector

td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
    # Do something with these table cells.

for cell in soup.select('table#foobar td.empformbody'):
    # Do something with these table cells.