带有网址 2 的 Python HTTP 错误 429

Question

我使用下面的代码来解析重定向以返回链接的最终url

def resolve_redirects(url):
    return urllib2.urlopen(url).geturl()

不幸的是，我有时会得到 HTTP 错误： HTTP 错误 429： 太多的请求.解决这个问题的好方法是什么？以下是好的还是有更好的方法。

def resolve_redirects(url):
    try:
        return urllib2.urlopen(url).geturl()
    except HTTPError:
        time.sleep(5)
        return urllib2.urlopen(url).geturl()

另外，如果except块中有异常，会发生什么情况？

Answer 1

添加用户代理到请求标头解决了我的问题：

from urllib import request
from urllib.request import urlopen

url = 'https://www.example.com/abc.json'
req = request.Request(url)
req.add_header('User-Agent', 'abc-bot')
response = request.urlopen(req)

Answer 2

这是处理异常的好方法，但您应该检查以确保您在给定网站的请求之间始终处于适当的睡眠状态（例如，Twitter限制每分钟的请求量，并在其API文档中清楚地显示了此数量）。因此，请确保您始终睡得足够长。

要从异常中恢复，只需嵌入另一个try/catch块:

def resolve_redirects(url):
    try:
        return urllib2.urlopen(url).geturl()
    except HTTPError:
        time.sleep(5)
        try:
            return urllib2.urlopen(url).geturl()
        except HTTPError:
            return "Failed twice :S"

编辑：正如@jesse-w-at-z指出的那样，在第二个错误情况下，您应该返回一个URL，我发布的代码只是如何编写嵌套的尝试/捕获的参考示例。

Answer 3

最好在重新尝试之前确保HTTP代码实际上是429。

这可以像这样完成：

def resolve_redirects(url):
    try:
        return urllib2.urlopen(url).geturl()
    except HTTPError, e:
        if e.code == 429:
             time.sleep(5);
             return resolve_redirects(url)
        raise

这也将允许任意数量的重试（可能需要也可能不需要）。

https://docs.python.org/2/howto/urllib2.html#httperror