美丽的汤找不到标签

Question

我目前正在尝试使用Python 3.6中的请求和BeautifulSoup模块进行练习，并且遇到了一个问题，在其他问题和解答中我似乎找不到任何信息。

似乎在页面上的某个时刻，Beuatiful Soup停止识别标签和ID。我试图从这样的页面中提取播放数据：

http://www.pro-football-
reference.com/boxscores/201609080den.htm

import requests, bs4

source_url = 'http://www.pro-football-reference.com/boxscores/201609080den.htm'
res = requests.get(source_url)
if '404' in res.url:
    raise Exception('No data found for this link: '+source_url)

soup = bs4.BeautifulSoup(res.text,'html.parser')

#this works
all_pbp = soup.findAll('div', {'id' : 'all_pbp'})
print(len(all_pbp))

#this doesn't
table = soup.findAll('table', {'id' : 'pbp'})
print(len(table))

使用Chrome中的检查器，我可以看到该表确实存在。我也曾尝试在HTML的后半部分的’div’和’tr’上使用它，但它似乎不起作用。我已经尝试过标准的’html.parser’以及lxml和html5lib，但是似乎没有任何效果。

我在这里做错什么了吗，或者HTML或其格式中有什么阻止了BeautifulSoup正确地找到以后的标签？我遇到了与该公司（hockey-
reference.com，Basketball-reference.com）相似的页面的问题，但是能够在其他站点上正确使用这些工具。

如果HTML包含某些内容，是否有更好的工具/库可帮助您从中提取此信息？

谢谢您的帮助，BF

Answer 1

BS4在执行URL的GET请求后将无法执行网页的JavaScript。我认为关注的表是从客户端javascript异步加载的。

结果，客户端javascript将需要首先运行才能抓取HTML。这篇文章介绍了如何做！