如何在Selenium中处理惰性加载的映像？

Question

在标记为重复之前，请考虑我已经翻阅了许多相关的堆栈溢出帖子，以及网站和文章。我还没有找到解决办法。

这个问题是Selenium Webdriver找不到XPATH的后续问题，尽管字符串看起来完全相同。通过更新代码以更优雅的方式工作,我确定问题实际上不是来自xpath方法：

for item in feed:
    img_div = item.find_element_by_class_name('listing-cover-photo ')
    img = WebDriverWait(img_div, 10).until(
            EC.visibility_of_element_located((By.TAG_NAME, 'img')))

这适用于前5ish元素。但是之后它会超时，通过获取img_div的内部html并打印它，我发现对于超时的元素，不是我想要的图像，而是一个具有类“lazyload-placeholder”的div。这使我开始寻找惰性加载的元素，但我找不到答案。正如您所看到的，我正在使用WebDriverWait尝试给它加载时间，但我也尝试了站点范围内的wait调用，以及time.sleep调用。等待似乎并不能解决问题。我正在寻找处理这些延迟加载映像的最简单的方法，最好是在Selenium中，但是如果有其他库或产品可以与我已经有的Selenium代码一起使用，那就太好了。感谢任何帮助。

Answer 1

您的图像只有在滚动到视图中时才会加载。Selenium Python文档在FAQ中都有这样的要求。根据这个答案，下面的脚本将在刮削图像之前向下滚动页面。

    driver.get("https://www.grailed.com/categories/footwear")

    SCROLL_PAUSE_TIME = 0.5
    i = 0
    last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(SCROLL_PAUSE_TIME)
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        last_height = new_height
        i += 1
        if i == 5:
            break

    driver.implicitly_wait(10)
    shoe_images = driver.find_elements(By.CSS_SELECTOR, 'div.listing-cover-photo img')

    print(len(shoe_images))

为了避免（似乎）永远滚动鞋子，我在5次迭代后添加了break，但是，您可以自由地删除I变量，它将尽可能地向下滚动。

存在隐式等待以允许对仍在加载的任何剩余映像进行追赶。

一个测试运行产生了82个图像，我确认它已经通过使用Chrome的DevTools选择器刮去了页面上的所有图像，该选择器突出显示了82。根据允许加载的图像数量，您将看到一个不同的数字。