尝试使用Python和Selenium迭代滚动和刮擦网页

Question

我最近问了一个问题（这里引用：Python Web Scring(Beautiful Soup、Selenium和PhantomJS):只刮整页的一部分），这有助于确定我在滚动时动态更新的页面上刮所有内容时遇到的问题。然而，我仍然无法使用selenium来使用代码指向正确的元素，并迭代地向下滚动页面。我还发现，当我手动向下滚动页面时，有一些原始内容在页面加载时消失，而新内容则更新。例如，看下面的图像...

首先，我很难选择正确的元素向下滚动页面，因为我以前从来没有这样做过。我认为我必须使用selenium来定位容器，然后使用“execute_script”函数向下滚动页面，因为这个表嵌入在web页面的主体中。然而，我似乎无法让它发挥作用。

    scroll = driver.find_element_by_class_name("ag-body-viewport")
    driver.execute_script("arguments[0].scrollIntoView();", scroll)

第二，一旦我有了滚动的能力，我将需要每次向下滚动一点，并迭代地刮。我的意思是，如果您在图像中查看，您将看到一堆“div”标记在

长话短说，我想要的是能够刮图像中提供的所有内容，然后使用selenium向下滚动大约40行，刮下40行，然后向下滚动并刮下40行等等...关于如何让selenium在这个嵌入式容器中滚动以及如何迭代向下滚动以捕获容器中的所有数据的提示。任何额外的帮助都将不胜感激。

Answer 1

从我在屏幕截图上看到的情况来看，您似乎需要反复滚动到表中的最后一行--带有ag-row类的最后一个元素：

import time   

while True:
    rows = driver.find_elements_by_css_selector("tr.ag-row")
    driver.execute_script("arguments[0].scrollIntoView();", rows[-1])

    time.sleep(1)

    # TODO: collect the rows

您还需要确定循环退出条件。