BeautifulSoup并不是从网页中提取所有表单

Question

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = 'https://www.qantas.com/au/en.html'
data = urlopen(url)
parser = BeautifulSoup(data, 'html.parser')
forms = parser.find_all('form')
for form in forms:
    print(form)
    print('\n\n')

上面的代码只显示了三个表单，而在Chrome的Developers tools>Elements页面中显示了13个

元素。但如果我查看页面源代码( Ctrl+UChrome中），源代码只显示BeautifulSoup刮过的三种形式。

我怎样才能刮掉所有的表格？

Answer 1

看起来web页面使用JavaScript加载web内容。尝试在禁用javascript的情况下在浏览器中查看页面。

检查你的表格是否在那里。如果不是，则检查控制台中是否有任何获取表单的XHR请求。如果没有，你应该考虑用phantomjs无头浏览器去selenium或者放弃本站的刮刮乐！！

无头浏览器将允许您获取动态创建的网页的内容，并将该内容提供给BeautifulSoup。