尽管看起来相同的字符串，但Selenium网络驱动程序找不到XPATH

Question

这个问题与我之前的两个问题有关：诱导WebDriver等待特定元素和刮擦中的不一致性

我正在把所有的Air Jordan运动鞋从鞋底上刮掉https://www.grailed.com/.feed是一个无限滚动的运动鞋列表，我正在使用seleniumwebdriver来抓取数据。我的问题是，鞋的图像似乎需要一段时间才能加载，因此它会抛出很多错误。我在图像的xpath中找到了模式。第一个图像的xpath是/html/body/div[3]/div[6]/div[3]/div[3]/div[2]/div[1]/a/div[2]/img，第二个是/html/body/div[3]/div[6]/div[3]/div[3]/div[2]/div[2]/a/div[2]/img等。它遵循这个线性序列，第二个到最后一个div索引每次增加一个。为了处理这个问题，我在循环中加入了以下内容（只包含相关代码）。

    i = 1
    while len(sneakers) < sneaker_count:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    # Get sneakers currently on page and add to sneakers list
    feed = driver.find_elements_by_class_name('feed-item')
    for item in feed:
        xpath = "/html/body/div[3]/div[6]/div[3]/div[3]/div[2]/div[2]/div[" + str(i) +   "]/a/div[2]/img"
        img = WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, xpath)))
        i += 1
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

问题是，在大约第5双鞋之后，wait语句超时，似乎在这双鞋之后传入的xpath未被识别。我使用FirefoxDeveloper使用复制xpath功能检查xpath，它似乎与打印时传入的xpath相同。我使用含硒的ChromeDriver，但我认为这与此无关。有人知道为什么xpath不再被识别，即使它们看起来是相同的吗？

更新：所以使用一个Xpath检查器插件到Chrome中，它会检测项目1-4的Xpath，但通常在项目6之后停止检测。当我检查xpath时（在Chrome和FireFox开发者模式下，xpath看起来仍然相同，但是当我使用“CSS和xpath检查器”时它没有检测到它们），它似乎仍然没有出来。这对我来说是一个巨大的谜。

Answer 1

我发现了问题。xpath很好，但是在前4-5个元素之后，图像被延迟加载。这意味着必须使用不同的解决方案才能刮取这些图像。这并不是因为加载时间太长，而是它们只是加载HTML中的占位符。