如何使用beautifulsoup和selenium在Python抓取中识别类名或id

Question

我正在构建一个scraper代码，并且已经能够读取表和我想要的信息。问题在于下一个页面链接，我尝试使用类名和svg标记，但代码会随着类名值的更改而中断。

这是该页面的链接

翻页

代码运行点击下一页的元素css的代码如下

driver.find_element_by_css_selector('#root > div > div > main > div.ez6st4XksKUGZfGdvIhjV > section > div:nth-child(1) > div._1c5cPqlj4FoguvpKXSY69p > div > span:nth-child(3) > svg').click()

似乎当类名的值更改时，它会中断并更改要单击的元素，而我还没有找到一种方法在不更改元素的情况下重复，以便对具有相同结构的多个页面重复。

谢啦

Answer 1

您可以使用下面的行单击下一步按钮，而不引用动态类名：

driver.find_element_by_xpath('//span[@value]/following-sibling::span/*[name()="svg"]').click()

与CSS选择器相同：

driver.find_element_by_css_selector('span[value] + span > svg')

最新消息

from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait as wait

while True:
    try:
        wait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'span[value] + span > svg'))).click()
    except:
        break

Answer 2

当您可以单击跨度时，也可以使用

from selenium import webdriver
d  = webdriver.Chrome()
url = 'https://super.walmart.com.mx/despensa/enlatados-y-conservas/chiles-enlatados/_/N-10kldy7?%2Fdespensa%2Fenlatados-y-conservas%2Fchiles-enlatados%2F_%2FN-10kldy7%3F%2Fdespensa%2Fenlatados-y-conservas%2Fchiles-enlatados%2F_%2FN-10kldy7%3F%2Fdespensa%2Fenlatados-y-conservas%2Fchiles-enlatados%2F_%2FN-10kldy7%3FNs=product.displayText%7C0&offSet=0&storeId=0000009999&No=40'
d.get(url)
# example number of clicks below
for i in range(2):
    d.find_element_by_xpath("//*[starts-with(@d,'M0')]/parent::*/parent::span").click()