Python的urllib2：为什么我在urlopen维基百科页面上出现错误403？

Question

尝试urlopen从Wikipedia进入某个页面时，我遇到一个奇怪的错误。这是页面：

http://en.wikipedia.org/wiki/OpenCola_（饮料）

这是shell会话：

>>> f = urllib2.urlopen('http://en.wikipedia.org/wiki/OpenCola_(drink)')
Traceback (most recent call last):
  File "C:\Program Files\Wing IDE 4.0\src\debug\tserver\_sandbox.py", line 1, in <module>
    # Used internally for debug sandbox under external interpreter
  File "c:\Python26\Lib\urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "c:\Python26\Lib\urllib2.py", line 397, in open
    response = meth(req, response)
  File "c:\Python26\Lib\urllib2.py", line 510, in http_response
    'http', request, response, code, msg, hdrs)
  File "c:\Python26\Lib\urllib2.py", line 435, in error
    return self._call_chain(*args)
  File "c:\Python26\Lib\urllib2.py", line 369, in _call_chain
    result = func(*args)
  File "c:\Python26\Lib\urllib2.py", line 518, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 403: Forbidden

这发生在我在不同大陆的两个不同系统上。有谁知道为什么会这样？

Answer 1

维基百科的立场是：

数据检索：不得将漫游器用于与未经批准的漫游器任务没有直接关系的任何用途来检索大量内容。这包括从另一个网站动态加载页面，这可能导致该网站被列入黑名单并被永久拒绝访问。如果您要下载大量内容或镜像项目，请下载或托管您自己的数据库副本。

这就是为什么Python被阻止的原因。您应该下载数据转储。

无论如何，您可以在Python 2中阅读类似的页面：

req = urllib2.Request(url, headers={'User-Agent' : "Magic Browser"}) 
con = urllib2.urlopen( req )
print con.read()

或在Python 3中：

import urllib
req = urllib.request.Request(url, headers={'User-Agent' : "Magic Browser"}) 
con = urllib.request.urlopen( req )
print(con.read())