关闭覆盖Selenium中“加载更多”按钮的随机视频弹出广告

Question

我正在使用selenium抓取大约1000个URL，并且我已经非常接近让它工作了。每个url都有一个“加载更多”按钮，我不断单击该按钮，直到抛出一个过时元素异常，并传递该异常。刮擦效果很好，直到随机视频广告覆盖了按钮。我认为使用XPATH来定位按钮可以解决这个问题，但事实并非如此。我知道使用java来执行脚本将解决这个问题，但我不确定如何在循环的基础上使用。下面是我目前的情况。

    if clicks >= 1:
        webdriver.ActionChains(driver).send_keys(Keys.ESCAPE).perform()
        sleep(1)
        try:
            while EC.element_to_be_clickable((By.XPATH, '/ html / body / div[2] / div / div / div[4] / div[4] / div / div / button')):
                button = driver.find_elements_by_xpath("/ html / body / div[2] / div / div / div[4] / div[4] / div / div / button")
                button[0].click()
                sleep(2)
                if not button.is_enabled():
                    print('ad is covering button, hopefully this works')
                    wait2 = WebDriverWait(driver, 10)
                    wait2.until(EC.element_to_be_clickable(By.XPATH("/ html / body / div[2] / div / div / div[4] / div[4] / div / div / button").click()))
                    
        except StaleElementReferenceException:
            pass

    else:
        print('under 10 reviews')
        pass

我希望if not行能挽救这一天...但我不确定我是否设置正确。我还发现此链接可能会有所帮助：Selenium-Debug： Element在点（X， Y）不可单击，但我不知道如何使用执行脚本功能连续单击。此链接也可能很有帮助：WebDriver单击（）vs JavaScript单击（）任何帮助都将不胜感激。

Answer 1

你可以简单地把它修改成这个。很确定你需要一个超时，除了。以防它找不到。

wait = WebDriverWait(driver, 10)
while True:
    try:
        elem=wait.until(EC.element_to_be_clickable((By.XPATH,"//button[.='load more']")))
        driver.execute_script("arguments[0].click();", elem)
    except StaleElementReferenceException:
        break
    except TimeOutException:
        break