用beautifulsoup和selenium webdriver帮助网页刮板

Question

因此，我正在尝试webscrape https://data.bls.gov/cgi-bin/surveymost？bls，并且能够弄清楚如何通过点击进行webscrape以获得一个表。

我正在练习的选择是在您选择与薪酬下的“雇用成本指数(ECI)文职（未调整）-CIU1010000000000A”相关联的复选框之后，然后选择“检索数据”。

处理完这两个之后，将显示一个表。这就是我要刮的桌子。

下面是我现在拥有的代码。

请注意，您必须在我放置 的地方放置您自己的浏览器驱动程序路径。

from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd
import numpy as np
import requests
import lxml.html as lh

from selenium import webdriver
url = "https://data.bls.gov/cgi-bin/surveymost?bls"
ChromeSource = r"<browser driver>"

# Open up a Chrome browser and navigate to web page.
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless') # will run without opening browser.
driver = webdriver.Chrome(ChromeSource, chrome_options=options)
driver.get(url)

driver.find_element_by_xpath("//input[@type='checkbox' and @value = 'CIU1010000000000A']").click()
driver.find_element_by_xpath("//input[@type='Submit' and @value = 'Retrieve data']").click()

i = 2

def myTEST(i):
    xpath = '//*[@id="col' + str(i) + '"]'
    TEST = driver.find_elements_by_xpath(xpath)

    num_page_items = len(TEST)
    for i in range(num_page_items):
        print(TEST[i].text)
myTEST(i)

# Clean up (close browser once completed task).
driver.close() 

<tr> == $0
  <th id="col0"> Year </th>
  <th id="col1"> Period </th>
  <th id="col2">Estimated Value</th>
  <th id="col2">Standard Error</th>
<tr>

一旦我能够获得标题，我想要获得内容。我能告诉你我是不是走在正确的道路上，是不是想多了，或者有没有一个更简单的方法来做这一切。我正在学习，这是我第一次尝试使用selenium库进行点击。我只想让它工作，这样我就可以在另一个表上再试一次，使它尽可能自动化或可重用（通过调整）。

Answer 1

实际上，您不需要selenium，您只需要跟踪post表单数据，并在post请求中应用相同的内容。

然后您可以轻松地使用pandas加载表。

import requests
import pandas as pd

data = {
    "series_id": "CIU1010000000000A",
    "survey": "bls"
}


def main(url):
    r = requests.post(url, data=data)
    df = pd.read_html(r.content)[1]
    print(df)


main("https://data.bls.gov/cgi-bin/surveymost")

说明：

注意：只要表不是通过JavaScript加载的，您就可以读取它。否则，您可以尝试跟踪XHR请求（请检查前面的回答），或者您可以使用Selenium或Requests_HTML来呈现JS，因为Requests是一个HTTP库，它不能为您呈现它。