从标记的网页中刮表

Question

我需要从下面的链接刮表。

我使用selenium编写了一个脚本，可以单击下一个页面，但每个页面中的表似乎没有table标记。相反，它似乎只包含div标记。我发现很难在这个网站上找到桌子。任何帮助都是非常贴切的。

from selenium import webdriver
import time

url = "https://mahabocw.in/safety-kit-benefits-distribution/"
driver = webdriver.Chrome()
driver.get(url)

next_button = '/html/body/div/div[6]/div/article/div/div/div/div/div[2]/div/div/div[2]/div/div[4]/span[2]/div[3]/button'
click_next = driver.find_element_by_xpath(next_button)
click_next.click()

编辑%1

from selenium import webdriver
import time

url = "https://mahabocw.in/safety-kit-benefits-distribution/"
driver = webdriver.Chrome()
driver.get(url)

for i in range(1000000):
    next_button = '/html/body/div[1]/div[6]/div/article/div/div/div/div/div[2]/div/div/div[2]/div/div[4]/span[2]/div[3]/button'
    click_next = driver.find_element_by_xpath(next_button)
    click_next.click()

提前道谢。

Answer 1

对于'>'按钮，您可以使用更短的XPath：

//button[text() = 'Next']

至于表数据，好吧，我会用类似C#的代码来写：

var result = new List<List<string>>();
var rows = WebDriver.FindElements("//div[@role = 'row' and @row-index and div]");
foreach (var row in rows)
{
   var rowData = new List<string>();
   var cells = row.FindElements("/div");

   foreach (var cell in cells) rowData.Add(cell.Text);
   result.Add(rowData);
}