在Selenium中滚动webelement后意外追加到列表的值

Question

我对python（以及一般编程）是新手，我想从使用Selenium滚动后动态更新的webelement中刮取数据，类似于本文：尝试使用python和Selenium迭代地滚动和刮取网页。与问题中的截图类似，我的webelement是一个带有标题的数据表，其中可能有水平或垂直滚动条。

我要做的第一件事是在我的webelement上滚动（一次滚动一列，这样就不会跳过任何列），并刮遍所有的标题。到目前为止，我可以确认我的webelement的水平滚动条有正确的xpath，并且我能够一次在webelement上水平滚动一列。请参见下面的代码，这是我从这个问题Python Selenium-distry pause_time中调整的代码，以便在无限页面中向下滚动：

scraped_headers = []
headers = driver.find_elements_by_xpath("//div[@class='gbData']")
for header in headers:
   if header not in scraped_headers:
      scraped_headers.append(header)
      print(header.text)
last_header = scraped_headers[-1]

width_scrollbar = driver.find_element_by_xpath("""/html/body/div[5]/div[2]/div/div/div/div/div[4]/div[5]/div[2]/div[3]""")

while True:
   driver.execute_script("arguments[0].scrollLeft += 50;", width_scrollbar)
   time.sleep(.5)
   new_header = driver.find_elements_by_xpath("//div[@class='gbData']")[-1]
   if new_header.text == last_header.text:
      break
   headers = driver.find_elements_by_xpath("//div[@class='gbData']")
   for header in headers:
      if header not in scraped_headers:
         scraped_headers.append(header)
         last_header = scraped_headers[-1]
         print(header.text)

   driver.execute_script("arguments[0].scrollLeft += 50;", width_scrollbar)
   time.sleep(.5)

将显示我刮取的最后一个标头（如预期的那样；因此将匹配我的第一个for循环中的打印）。在该代码后面的last_header.text值的print()将显示webelement中最新的头，尽管没有理由（据我所知）将其追加到列表中。因此，new_header.text将等于last_header.text，my while循环将中断。

有趣的是，我似乎可以做到以下几点：

scraped_headers = []
headers = driver.find_elements_by_xpath("//div[@class='gbData']")
for header in headers:
   if header not in scraped_headers:
      scraped_headers.append(header)
      print(header.text)
last_header = scraped_headers[-1]

width_scrollbar = driver.find_element_by_xpath("""/html/body/div[5]/div[2]/div/div/div/div/div[4]/div[5]/div[2]/div[3]""")

while True:
   driver.execute_script("arguments[0].scrollLeft += 50;", width_scrollbar)
   time.sleep(.5)
   print(last_header.text)

-我的程序会打印出现的每一个新标题，直到它重复列表中的最后一个；但我不知道如何打破循环！

Answer 1

正如@Pcalkins在评论中指出的那样，追加标题的。text而不是对标题webelement的引用解决了我的问题。经过调整的代码很好地完成了我想要的：

scraped_headers = []
headers = driver.find_elements_by_xpath("//div[@class='gbData']")
for header in headers:
   if header.text not in scraped_headers:
      scraped_headers.append(header.text)
      print(header.text)
last_header = scraped_headers[-1]

width_scrollbar = driver.find_element_by_xpath("""/html/body/div[5]/div[2]/div/div/div/div/div[4]/div[5]/div[2]/div[3]""")

while True:
   driver.execute_script("arguments[0].scrollLeft += 50;", width_scrollbar)
   time.sleep(.5)
   new_header = driver.find_elements_by_xpath("//div[@class='gbData']")[-1]
   if new_header.text == last_header:
      break
   headers = driver.find_elements_by_xpath("//div[@class='gbData']")
   for header in headers:
      if header.text not in scraped_headers:
         scraped_headers.append(header.text)
         last_header = scraped_headers[-1]
         print(header.text)