为什么我和BeautifulSoup有一个属性错误？

Question

我在用BeautifulSoup抓取网页时收到一个属性错误。我想用一个特定的选择器从网页中获取一个特定的文本，但是我得到了这个错误。谁能告诉我如何正确使用CSS选择器，就像我在下面给出的那样？

错误：

AttributeError: 'NoneType' object has no attribute 'text' 

CSS选择器

#col-body > div > social-influence > div.row.row-zero.influence-others.panel-inactive > div:nth-child(3) > h4

我的代码

from bs4 import BeautifulSoup
import requests

html = requests.get("https://www.cryptocompare.com/coins/bnb/influence/USDT").text
soup = BeautifulSoup(html, 'html.parser')
total_commit = soup.select_one("#col-body div social-influence div.row.row-zero.influence-others.panel-inactive div:nth-child(3) h4").text
print(total_commit)

预期产出：

We don't have any code repository data yet.




Answer 1

事实证明，CSS选择器没有任何问题（显示的原始版本或代码中使用的修改版本；两者都选择相同的内容）。问题是您想要的页面部分是由JavaScript动态生成的，因此它不在HTML中。要查看此信息，请尝试：

from bs4 import BeautifulSoup
import requests

html = requests.get(
    'https://www.cryptocompare.com/coins/bnb/influence/USDT'
).text
with open('output.txt', 'w') as f:
    f.write(html)

如果您在结果文件中搜索"我们还没有任何代码存储库数据."，您会发现它不在那里。

因此，我们不仅需要访问HTML页面，还需要运行其JavaScript，并保存生成页面的源代码。如本答案所述，您可以使用硒来实现这一点。您首先必须安装Selenium（pip install Selenium应该可以工作），并根据您的操作系统下载geckodriver可执行文件。

完成后，您的代码（与Mr.曼哈顿的增加）看起来像这样：

from contextlib import closing

from bs4 import BeautifulSoup
from selenium.webdriver import Firefox

with closing(Firefox()) as browser:
    browser.get('https://www.cryptocompare.com/coins/bnb/influence/USDT')
    html = browser.page_source

soup = BeautifulSoup(html, 'html.parser')
total_commit_node = soup.select_one(
    '#col-body > div > social-influence > '
    'div.row.row-zero.influence-others.panel-inactive > div:nth-child(3) > h4'
)

if total_commit_node:
    print(total_commit_node.text)
else:
    print('Could not match CSS selector')

（注意：我将选择器拆分为两行以避免滚动。它的功能完全相同，因为连续的字符串文本会自动连接。）

对我来说，这正确地输出了：

We don't have any code repository data yet.

Answer 2

您的查询与以下内容不匹配：

total_commit_node  = soup.select_one(
    '#col-body div social-influence div.row.row-zero.influence-others.panel-inactive div:nth-child(3) h4')

if total_commit_node:
    print(total_commit_node.text)
else:
    print('Could not match css selector')