Python请求。获取（url）返回javascript代码而不是页面html

Question

我有一个非常简单的问题。我试图从linkedIn页面的html中获取工作描述，但是我没有得到页面的html，而是得到了几行看起来像javascript代码的代码。我对这一点很陌生，所以任何帮助都将不胜感激！谢谢

这是我的密码：

import requests
url = "https://www.linkedin.com/jobs/view/inside-sales-manager-at-stericycle-1089095836/"
page_html = requests.get(url).text
print(page_html)

当我运行这个时，我没有得到我期望包含工作描述的html。。。我只得到几行javascript代码。

Answer 1

有些网站根据访问网站的浏览器类型提供不同的内容。LinkedIn就是这种行为的完美例子。如果浏览器具有高级功能，网站可能会呈现“更丰富”的内容——更具动态性和风格。使用机器人也无助于浏览这些网站。

要解决这个问题，您需要遵循以下步骤：

1. 从这里下载chrome驱动程序。选择一个符合您的操作系统。
2. 提取驱动程序并将其放在某个目录中。例如，\usr
3. 通过运行pip安装selenium安装Selenium，这是一个python模块。请注意，selenium依赖于另一个名为msgpack的包。因此，您应该首先使用这个命令安装它。
4. 现在，我们准备运行以下代码

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options


def create_browser(webdriver_path):
    #create a selenium object that mimics the browser
    browser_options = Options()
    #headless tag created an invisible browser
    browser_options.add_argument("--headless")
    browser_options.add_argument('--no-sandbox')
    browser = webdriver.Chrome(webdriver_path, chrome_options=browser_options)
    print("Done Creating Browser")
    return browser


url = "https://www.linkedin.com/jobs/view/inside-sales-manager-at-stericycle-1089095836/"
browser = create_browser('/usr/chromedriver') #DON'T FORGET TO CHANGE THIS AS YOUR DIRECTORY
browser.get(url)
page_html = browser.page_source
print(page_html[-10:]) #prints dy></html>

现在，你有了整个页面。我希望这能回答你的问题！！