urllib2 HTTP错误429

Question

所以我有一个sub-reddits列表，我用urllib打开它们。在我仔细研究之后，urllib最终失败了：

urllib2.HTTPError: HTTP Error 429: Unknown

做了一些研究，我发现reddit通过IP限制了对其服务器的请求数量：

每两秒钟不要提出超过一个请求。请求的突发有一定的空间，但要保持理智。一般来说，一分钟内不要超过30个请求。

所以我想我应该使用time.sleep（）将我的请求限制在每10秒一页。这最终也失败了。

上面的引用是从reddit API页面获取的。我没有使用reddit API。在这一点上，我在想两件事。要么该限制仅适用于reddit API，要么urllib也有限制。

有人知道这两个东西是哪一个吗？或者我该如何解决这个问题？

Answer 1

我也遇到了同样的错误。更改代码

from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen(url)
bsObj = BeautifulSoup(html)

到

from urllib.request import urlopen
from bs4 import BeautifulSoup
import urllib.request

webRequest = urllib.request.Request(url, headers={"User-Agent": <you username in case you are scraping reddit>})
html = urlopen(webRequest)
bsObj = BeautifulSoup(html)

解决了问题

Answer 2

Reddit通过请求（而不是匿名懦夫建议的连接）对IP地址和用户代理执行速率限制。您遇到的问题是，每个尝试使用urllib2访问reddit的人都将作为单个用户受到速率限制。

解决方案是设置一个用户代理，您可以在这个问题中找到答案。

或者，放弃编写自己的代码来抓取reddit，而使用PRAW。它支持reddit的API的几乎所有特性，你不必担心遵循任何API规则，因为它会为你处理这些。

Answer 3

从 https://github.com/reddit/reddit/wiki/API：

许多默认的用户代理（如Python/urllib或Java）都受到严格限制，以鼓励唯一和描述性的用户代理字符串。

这也适用于常规请求。在发出请求时，您需要提供自己的用户代理标头。

#TODO: change user agent string
hdr = { 'User-Agent' : 'super happy flair bot by /u/spladug' }
req = urllib2.Request(url, headers=hdr)
html = urllib2.urlopen(req).read()

但是，这将为每个请求创建一个新的连接。我建议使用另一个能够重用连接的库，例如< code>httplib或Request。这将减轻服务器的压力，加快请求速度:

import httplib
import time

lst = """
science
scifi
"""

hdr= { 'User-Agent' : 'super happy flair bot by /u/spladug' }
conn = httplib.HTTPConnection('www.reddit.com')
for name in lst.split():
    conn.request('GET', '/r/'+name, headers=hdr)
    print conn.getresponse().read()
    time.sleep(2)
conn.close()