加载资源失败：服务器通过Selenium用ChromeDriver Chrome响应状态为429（请求太多）和404（找不到）

Question

以下是我从WebDriver获得的错误日志：

{'level': 'SEVERE', 'message': 'https://shop.coles.com.au/a/a-nsw-metro-rouse-hill/everything/browse/baby/nappies-changing?pageNumber=1 - Failed to load resource: the server responded with a status of 429 (Too Many Requests)', 'source': 'network', 'timestamp': 1556997743637}

{'level': 'SEVERE', 'message': 'about:blank - Failed to load resource: net::ERR_UNKNOWN_URL_SCHEME', 'source': 'network', 'timestamp': 1556997745338}

{'level': 'SEVERE', 'message': 'https://shop.coles.com.au/149e9513-01fa-4fb0-aad4-566afd725d1b/2d206a39-8ed7-437e-a3be-862e0f06eea3/fingerprint - Failed to load resource: the server responded with a status of 404 (Not Found)', 'source': 'network', 'timestamp': 1556997748339}

我的脚本：

from selenium import webdriver
import os

path = os.path.join(os.getcwd(), 'chromedriver')
driver = webdriver.Chrome(executable_path=path)

links = [
    "https://shop.coles.com.au/a/a-nsw-metro-rouse-hill/everything/browse/baby/nappies-changing?pageNumber=1",
    "https://shop.coles.com.au/a/a-nsw-metro-rouse-hill/everything/browse/baby/baby-accessories?pageNumber=1",
    "https://shop.coles.com.au/a/a-nsw-metro-rouse-hill/everything/browse/baby/food?pageNumber=1",
    "https://shop.coles.com.au/a/a-nsw-metro-rouse-hill/everything/browse/baby/formula?pageNumber=1",
]


for link in links:
    driver.get(link)

Answer 1

HTTP 429太多请求响应状态代码指示用户在给定时间内发送了太多请求（“速率限制”）。响应表示应该包括解释条件的详细信息，并且可以包括retry-after标头，指示在发出新请求之前要等待多长时间。

当服务器受到攻击或仅接收来自单个方的大量请求时，使用429状态代码响应每个请求将消耗资源。因此，不要求服务器使用429状态代码；当限制资源使用时，仅删除连接或采取其他步骤可能更合适。

HTTP 404未找到客户端错误响应代码表示服务器找不到请求的资源。在浏览器中，这意味着无法识别URL。在API中，这也可能意味着endpoint有效，但资源本身不存在。服务器也可以发送此响应而不是403，以向未经授权的客户端隐藏资源的存在。这个响应代码可能是最著名的一个，因为它经常出现在Web上。

null

dist一词的出现清楚地表明，该网站受到机器人管理服务提供商Distil Networks的保护，ChromeDriver的导航被检测到并随后被阻止。

根据这篇文章，确实有关于蒸馏的东西。它...：

Distil通过观察站点行为和识别刮刮器特有的模式来保护站点免受自动内容刮刮机器人的攻击。当Distil在一个站点上识别出恶意机器人时，它会创建一个黑名单行为配置文件，并将其部署到所有客户。类似于机器人防火墙的东西，Distil检测模式并做出反应。

null