Python urllib2.HTTPError：HTTP错误503：服务在有效网站上不可用

Question

我一直在使用亚马逊的产品广告API来生成包含给定书籍价格的网址。我生成的一个网址如下：

http://www.amazon.com/gp/offer-
listing/0415376327%3FSubscriptionId%3DAKIAJZY2VTI5JQ66K7QQ%26tag%3Damaztest04-20%26linkCode%3Dxm2%26camp%3D2025%26creative%3D386001%26creativeASIN%3D0415376327

当我单击链接或将链接粘贴到地址栏上时，网页加载正常。但是，当我执行以下代码时，我得到一个错误：

url = "http://www.amazon.com/gp/offer-listing/0415376327%3FSubscriptionId%3DAKIAJZY2VTI5JQ66K7QQ%26tag%3Damaztest04-20%26linkCode%3Dxm2%26camp%3D2025%26creative%3D386001%26creativeASIN%3D0415376327"
html_contents = urllib2.urlopen(url)

错误是 urllib2.HTTPError：HTTP错误503：服务不可用 。首先，由于网页成功加载，我什至不明白为什么会出现此错误。

另外，我注意到的另一个奇怪的行为是以下代码有时会给出某些错误，而有时却不会给出所述错误：

html_contents = urllib2.urlopen("http://www.amazon.com/gp/offer-listing/0415376327%3FSubscriptionId%3DAKIAJZY2VTI5JQ66K7QQ%26tag%3Damaztest04-20%26linkCode%3Dxm2%26camp%3D2025%26creative%3D386001%26creativeASIN%3D0415376327")

我完全不知道这种行为是如何发生的。有没有解决办法或解决办法？我的目标是阅读url的html内容。

编辑

我不知道为什么堆栈溢出会更改我的代码，以将我在代码中上面列出的Amazon链接更改为rads.stackoverflow。无论如何，请忽略rads.stackoverflow链接，并使用上述引号之间的链接。

Answer 1

这是因为Amazon不允许自动访问其数据，所以他们拒绝了您的请求，因为它不是来自正确的浏览器。如果您查看503响应的内容，则会显示：

要讨论对Amazon数据的自动访问，请联系api-services-
[e-mail]。有关迁移到我们的API信息，请参阅我们的市场API在https://developer.amazonservices.com/ref=rm_5_sv，或我们的产品广告API在
https://affiliate-program.amazon.com/gp/advertising/api
/detail/main.html/ref=rm_5_ac 用于广告用例。

这是因为User-Agentfor Pythonurllib显然不是浏览器。您总是可以伪造User- Agent，但这并不是很好的做法（或道德上的作法）。

顺便提一句，如另一个答案所述，该requests库对于Python中的HTTP访问确实非常有用。