使用Python中的Selenium停止动态页面中的滚动

Question

大家好，我正在尝试使用selenium和scrapy从中获取一些信息https://answers.yahoo.com/dir/index/discover?sid=396545663

我尝试不同的方法，我使用硒和设置PhantomJs像驱动程序。对于向下滚动页面，它是一个无限滚动页面，我使用以下指令：

elem.send_keys(Keys.PAGE_DOWN)

要模拟按下Page Down按钮，而不是JavaScript函数，请执行以下操作：

browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")

因为这一个“似乎”在页面中加载更少的元素。

主要的问题是我如何知道何时到达页面底部？是“无限滚动”页面，所以我不知道它何时结束，我需要向下滚动，但底部没有任何元素可供分析。

其实我用的是临时循环，但是看起来真的很蠢。

谢啦

Answer 1

例如，您可以创建一些并行线程来检查页面中的ajax请求。如果两个请求之间的时间间隔经常超过10秒，您将看到页面的末尾。我没有别的想法。

Answer 2

我真的会寻找“装载…”指示信号等待它在每个滚动条上都可见，但是如果您将得到一个TimeoutException-这次没有加载指示器，也没有更多的项目要加载。

示例实现：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 10)

while True:
    # do the scrolling
    browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    try:
        wait.until(EC.visibility_of_element_located((By.XPATH, "//*[. = 'Loading...']")))
    except TimeoutException:
        break  # not more posts were loaded - exit the loop

没有测试。