使用Pandas/Beautiful Shoum（而不是selenium哪个慢？）刮表数据，BS实现不起作用

Question

我试图在这个网站上搜索web数据，我能够访问数据的唯一方法是遍历表的行，将它们添加到列表中（然后将它们添加到pandas数据框架中/写入csv)，然后单击下一页并重复这个过程[每次搜索大约有50页，我的程序进行100+次搜索]。它非常慢/效率低，我想知道是否有一种方法可以使用pandas或Beautive soup高效地添加所有数据，而不是遍历每一行/每列。

rows = driver.find_elements_by_xpath("//tbody/tr")
    try:
        for row in rows[1:]:
            row_array = []
            #print(row.text) # prints the whole row
            for col in row.find_elements_by_xpath('td')[1:]:
                row_array.append(col.text.strip())
            table_array.append(row_array)
        df = pd.DataFrame(table_array)
        df.to_csv('my_csv.csv', mode='a', header=False)
    except:
        print(letters + "no table exists")

html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
rows = soup.find('table').find('tbody').find_all(('tr')[1:])
for row in rows[1:]:
    cells = row.find_all('td')
    for cell in cells[1:]:
        print(cell.get_text())

Answer 1

在BS4代码内嵌中使用这一行

rows = soup.find('table').find('tbody').find_all('tr')[1:]

而不是

rows = soup.find('table').find('tbody').find_all(('tr')[1:])