如何让Python抓取JavaScript文件生成的网页

Question

我有一个网站，我想自动执行一些操作，但页面是由2个JavaScript文件生成的，在html中定义如下：

<script src="/build/runtime.js"></script><script src="/build/app.js"></script>

运行时。js大约有70行代码和应用程序。js大约有4万行。。。我不知道如何阅读代码，因为我不懂任何JavaScript，我的Pyton知识也不过是一点点而已；）

我想分享这个特定的网站，但这个页面是在登录之后的。因此，我已经设法使用两种不同的方法进入页面，但在JS生成的下一个页面中找不到按下按钮的方法。

方法1-请求

import requests
from bs4 import BeautifulSoup

# Site & creds
LOGIN_URL = 'https://website.com/login'
USERNAME = 'user'
PASSWORD = 'pass'

# Pretend to be browser
headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml',
    'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
# Start session
session = requests.session()
# Get login page
response = session.get(LOGIN_URL, headers=headers, verify=False)
# Get csrf token
soup = BeautifulSoup(response.content, 'html.parser')
csrf_token = (soup.find(id="login_form__token")["value"])
# Set creds with csfr token
payload = {
    'login_form[username]': USERNAME,
    'login_form[password]': PASSWORD,
    'login_form[login]': '',
    'login_form[_token]': csrf_token
}
# Login & do something else with cookies I don't understand
response = session.post(LOGIN_URL, data=payload, verify=False)
response = session.get('https://website.com/pageIWant', verify=False)

soup = BeautifulSoup(response.content, 'html.parser')
print(soup.prettify())

方法2-硒

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By

options = Options()
options.headless = True
options.add_argument("--window-size=1920,1200")
options.add_argument('--disable-gpu')
options.add_argument('--disable-software-rasterizer')

driver = webdriver.Chrome(options=options, executable_path='chromedriver.exe')
driver.get("https://website.com/login")

driver.find_element_by_id("login_form_username").send_keys('user')
driver.find_element_by_id("login_form_password").send_keys('pass')
driver.find_element_by_id("login_form_login").click()

driver.get("https://website.com/pageIWant")

html = driver.page_source
print(html)

所以我认为方法2会让事情变得更容易，但几乎卡在了同一个点上。我想要生成的页面包含我需要按下以访问下游页面的按钮。阅读了很多关于访问元素的内容，但在这个40k的JS jibberish中看不到任何内容。从哪里开始比较好？

Answer 1

“从哪里开始比较好？”

不管页面是如何生成的（HTML或JS），最终您必须在Selenium中处理的是页面的活动DOM。因此，“从哪里开始”是在浏览器开发工具中检查页面的DOM，并从DOM中找出如何在Selenium中找到按钮元素。