Selenium以编程方式单击“下一步”按钮，直到最后一页

Question

嗨，我是一个网络抓取新手，一直在尝试使用Selenium用python抓取论坛

我想让Selenium点击"下一步"，直到最后一页，但我不知道如何打破循环。

当我通过部分链接找到下一个按钮时，自动单击将继续到下一个线程，例如page1-

while True:
    next_link = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.PARTIAL_LINK_TEXT, "Next")))
    next_link.click()

当我按类名找到下一个按钮时，自动单击将在到达最后一页时单击“prev”按钮

while True:
    next_link = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, "prevnext")))
    next_link.click()

我的问题是：

1. 我应该使用哪个定位器？（按类还是按部分链接或任何其他建议？
2. 如何打破循环，使其在到达最后一页时停止点击？

Answer 1

>

您可以使用任何提供唯一标识的定位器。最佳做法按以下顺序排列。

< li>Id < li >名称 < li >类名 < li>Css选择器 < li>Xpath < li >其他

当它没有找到您可以使用try block的元素时，从while循环中出来，如下所示。中断命令用于相同的目的。

while True:
    try:
        next_link = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, "prevnext")))
        next_link.click()
    except TimeoutException:
        break

Answer 2

您可以使用下面的代码单击“下一步”按钮，直到到达最后一页，如果按钮不存在，则中断循环：

from selenium.common.exceptions import TimeoutException

while True:
    try:
        WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.LINK_TEXT, "Next ›"))).click()
    except TimeoutException:
        break

Answer 3

您需要考虑以下几点：

>

页面上有两个元素，文本如下一个在顶部，另一个在底部，因此您需要决定要与哪个元素进行交互并构建独特的定位器策略

继续前进，因为你想要调用元素上的click（）而不是预期的条件，因为presence_of_element_located（）你需要使用element_to_be_clickable（）。

当没有文本为 Next 的元素时，您需要执行其余步骤，因此请在 try-catch 块中调用 click（） 并在发生异常时发生异常。

根据您的要求，xpath作为定位器策略对我来说看起来不错。

下面是工作代码块：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

options = webdriver.ChromeOptions() 
options.add_argument("start-maximized")
options.add_argument('disable-infobars')
driver=webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
driver.get("https://forums.hardwarezone.com.sg/money-mind-210/hdb-fully-paid-up-5744914.html")
driver.find_element_by_xpath("//a[@id='poststop' and @name='poststop']//following::table[1]//li[@class='prevnext']/a").click()
while True:
    try :
        WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.XPATH, "//a[@id='poststop' and @name='poststop']//following::table[1]//li[@class='prevnext']/a[contains(.,'Next')]"))).click()
    except :
        print("No more pages left")
        break
driver.quit()

控制台输出 ：

No more pages left