如何从JavaScript网页下载完整的html？

Question

我想下载一个网页的完整html，我已经写了一些代码来做到这一点。然而，当我回头看下载的html时，我发现只有大约一半的html存在。我认为这是因为网页是动态的，当你与网页交互时，会加载更多的信息。我一直在尝试使用PhantomJS与ChromeDriver Manager协调一致地执行此操作，但运气不佳。这是只下载部分html的代码（我再次相信，因为页面是动态的）：

from bs4 import BeautifulSoup
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import os
import re
import time

driver = webdriver.Chrome(ChromeDriverManager().install(), options=chrome_options)
driver.get(''https://medium.com/@benjaminhardy')
time.sleep(25)
html = driver.page_source
driver.close()

这是我对PhantomJS的尝试，但没有运气：

driver = webdriver.Chrome(ChromeDriverManager().install().PhantomJS())
driver.get('https://medium.com/@benjaminhardy')
html = driver.page_source
time.sleep(25)
driver.close()

error:'str' object has no attribute 'PhantomJS'

Answer 1

您可以直接使用请求库。例如：

import requests

page = requests.get('https://medium.com/@benjaminhardy')

print(page.content)

这样做的另一个好处是，请求与python预先绑定，因此您不需要下载任何额外的内容。

如果您正在使用BeautifulSoup，只需使用：

soup = BeautifulSoup(page.content)