urllib:打开一个url总是得到429:太多请求

Question

我刚刚开始使用网址模块。我试图从超市抓取产品，有一个网站似乎总是以HTTP错误429响应：请求太多。我已经对堆栈溢出进行了一些研究，似乎没有人有同样的问题。我的代码非常简单：

>>> import urllib.request
>>> resp = urllib.request.urlopen("https://shop.coles.com.au/a/a-national/product/head-shoulders-shampoo-conditioner-2in1-deep-clean")
Traceback (most recent call last):
  File "<pyshell#1>", line 1, in <module>
    resp = urllib.request.urlopen("https://shop.coles.com.au/a/a-national/product/head-shoulders-shampoo-conditioner-2in1-deep-clean")
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 222, in urlopen
return opener.open(url, data, timeout)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 531, in open
response = meth(req, response)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 640, in http_response
'http', request, response, code, msg, hdrs)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 568, in error
return self._call_chain(*args)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 503, in _call_chain
result = func(*args)
  File "C:\Users\thank\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 648, in http_error_default
raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 429: Too Many Requests

我也试图按照这个答案的建议修改用户代理，但是结果还是一样

有人能解释一下urllib模块内部的哪些默认设置可能导致这个问题吗？还是因为网站屏蔽了僵尸程序？网站的其他产品页面也不行。

Answer 1

429是服务器要求您停止。基本上，web服务器认为您正在尝试垃圾邮件或垃圾信息，但它并不喜欢。通常，您应该尊重服务器，如果在一段时间后有429响应的尝试，您应该遵循它。

如果您认为服务器错误地询问了您，则可以确保您的用户请求与用户从浏览器生成的用户请求**相似“，其中包括用户代理以及常规浏览器将随请求一起发送的所有其他信息。如果服务器向您发送429，尽管它很可能暂时或永久地阻止了您的IP。在这一点上，你应该看看如何刮擦多个ip。