Beautifulsoup：.find（）和.select（）之间的区别

Question

当您使用
BeautifulSoup

抓取网站的特定部分时，您可以使用

• soup.find()和soup.findAll()或
• soup.select()。

.find()和.select()方法之间有区别吗？（例如，性能或灵活性等）还是相同？

Answer 1

总结评论：

• select 查找多个实例并返回一个列表， find 查找第一个实例，因此它们不会执行相同的操作。 select_one 将等同于 find 。
• 我链接时，标签或使用几乎总是使用CSS选择 tag.classname ，如果寻找一个单一的元素没有一个类我用 找到 。本质上，它取决于用例和个人喜好。
• 就灵活性而言，我认为您知道答案，soup.select("div[id=foo] > div > div > div[class=fee] > span > span > a")使用多个链接的 find / find_all 调用看起来很难看。
• bs4中的css选择器唯一的问题是对它的支持非常有限， nth-of-type 是唯一实现的伪类，并且像c [sref ]的许多其他部分一样，也不支持链接属性，例如a [href] [src]。但是像 a [href = ..] *， a [href ^ =] ， a [href $ =] 等之类的东西我认为要好得多，find("a", href=re.compile(....))但这又是个人喜好。

为了提高性能，我们可以运行一些测试，我修改了此处答案的代码，该答案在从此处获取的800多个html文件上运行，虽然并不详尽，但应为某些选项的可读性和性能提供线索：

修改后的功能为：

from bs4 import BeautifulSoup
from glob import iglob


def parse_find(soup):
    author = soup.find("h4", class_="h12 talk-link__speaker").text
    title = soup.find("h4", class_="h9 m5").text
    date = soup.find("span", class_="meta__val").text.strip()
    soup.find("footer",class_="footer").find_previous("data", {
        "class": "talk-transcript__para__time"}).text.split(":")
    soup.find_all("span",class_="talk-transcript__fragment")



def parse_select(soup):
    author = soup.select_one("h4.h12.talk-link__speaker").text
    title = soup.select_one("h4.h9.m5").text
    date = soup.select_one("span.meta__val").text.strip()
    soup.select_one("footer.footer").find_previous("data", {
        "class": "talk-transcript__para__time"}).text
    soup.select("span.talk-transcript__fragment")


def  test(patt, func):
    for html in iglob(patt):
        with open(html) as f:
            func(BeautifulSoup(f, "lxml")

现在是时候了：

In [7]: from testing import test, parse_find, parse_select

In [8]: timeit test("./talks/*.html",parse_find)
1 loops, best of 3: 51.9 s per loop

In [9]: timeit test("./talks/*.html",parse_select)
1 loops, best of 3: 32.7 s per loop

就像我说的并不详尽，但我认为我们可以肯定地说CSS选择器绝对有效。