如何避免HTTP错误429(请求过多)python

Question

我正在尝试使用Python登录一个网站并从多个网页收集信息，我收到以下错误：

Traceback (most recent call last):
  File "extract_test.py", line 43, in <module>
    response=br.open(v)
  File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 203, in open
    return self._mech_open(url, data, timeout=timeout)
  File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 255, in _mech_open
    raise response
mechanize._response.httperror_seek_wrapper: HTTP Error 429: Unknown Response Code

我用了时间。sleep（），它可以工作，但它似乎不明智且不可靠，还有其他方法可以避免这个错误吗？

这是我的代码：

import mechanize
import cookielib
import re
first=("example.com/page1")
second=("example.com/page2")
third=("example.com/page3")
fourth=("example.com/page4")
## I have seven URL's I want to open

urls_list=[first,second,third,fourth]

br = mechanize.Browser()
# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

# Browser options 
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Log in credentials
br.open("example.com")
br.select_form(nr=0)
br["username"] = "username"
br["password"] = "password"
br.submit()

for url in urls_list:
        br.open(url)
        print re.findall("Some String")

Answer 1

正如MRA所说，您不应该试图回避429 Too Many Requests，而应该相应地处理它。根据您的用例，您有几个选项：

1） 睡眠您的进程。服务器通常在响应中包含一个Retry after头，其中包含重试前应等待的秒数。请记住，Hibernate进程可能会导致问题，例如在任务队列中，您应该稍后重试该任务，以释放工作线程进行其他操作。

2） 指数退避。如果服务器没有告诉您等待多长时间，您可以通过增加中间的暂停来重试请求。流行的任务队列芹菜内置了此功能。

3） 令牌存储桶。如果您提前知道在给定的时间内可以发出多少请求，则此技术非常有用。每次访问API时，您首先从存储桶中获取一个令牌。以恒定速率重新加注铲斗。如果bucket是空的，您知道在再次访问API之前必须等待。令牌桶通常在另一端（API）实现，但您也可以将其用作代理，以避免收到“429太多请求”。Celery的rate_limit特性使用令牌桶算法。

下面是一个使用指数回退和速率限制/令牌桶的Python/Celery应用程序示例:

class TooManyRequests(Exception):
"""Too many requests"""

@task(
   rate_limit='10/s',
   autoretry_for=(ConnectTimeout, TooManyRequests,),
   retry_backoff=True)
def api(*args, **kwargs):
  r = requests.get('placeholder-external-api')

  if r.status_code == 429:
    raise TooManyRequests()

Answer 2

在请求时编写这段代码解决了我的问题：

requests.get(link, headers = {'User-agent': 'your bot 0.1'})

这是可行的，因为当没有提供用户代理时，站点有时会返回“请求过多 （429）”错误。例如，红迪的API仅在应用用户代理时才起作用。

Answer 3

收到状态429不是一个错误，它是另一个服务器“友好地”请你停止垃圾邮件请求。很明显，你的请求率太高了，服务器不愿意接受。

你不应该试图“回避”这一点，甚至试图通过欺骗你的IP来绕过服务器安全设置，你应该尊重服务器的回答，不要发送太多请求。

如果一切都设置正确，您还将收到一个“重试后”标头以及429响应。这个标头指定了在进行另一个调用之前应该等待的秒数。处理这个“问题”的正确方法是阅读这个标头并让您的进程Hibernate那么多秒。

您可以在此处找到有关状态 429 的更多信息：https://www.rfc-editor.org/rfc/rfc6585#page-3