Python请求：requests.exceptions.TooManyRedirects：超过30个重定向

Question

我试图使用python-requests库抓取此页面

import requests
from lxml import etree,html

url = 'http://www.amazon.in/b/ref=sa_menu_mobile_elec_all?ie=UTF8&node=976419031'
r = requests.get(url)
tree = etree.HTML(r.text)
print tree

但我得到了以上错误。（TooManyRedirects）我尝试使用allow_redirects参数但出现相同错误

r = requests.get(url, allow_redirects=True)

我什至尝试发送标头和数据以及url，但是我不确定这是否是正确的方法。

headers = {'content-type': 'text/html'}
payload = {'ie':'UTF8','node':'976419031'}
r = requests.post(url,data=payload,headers=headers,allow_redirects=True)

如何解决此错误。出于好奇，我什至尝试了beautiful-soup4，但出现了不同但相同的错误

page = BeautifulSoup(urllib2.urlopen(url))

urllib2.HTTPError: HTTP Error 301: The HTTP server returned a redirect error that would lead to an infinite loop.
The last 30x error message was:
Moved Permanently

Answer 1

Amazon会将您的请求http://www.amazon.in/b?ie=UTF8&node=976419031重定向到http://www.amazon.in/electronics/b?ie=UTF8&node=976419031，然后将其重定向到，之后您进入一个循环：

>>> loc = url
>>> seen = set()
>>> while True:
...     r = requests.get(loc, allow_redirects=False)
...     loc = r.headers['location']
...     if loc in seen: break
...     seen.add(loc)
...     print loc
... 
http://www.amazon.in/b?ie=UTF8&node=976419031
http://www.amazon.in/electronics/b?ie=UTF8&node=976419031
>>> loc
http://www.amazon.in/b?ie=UTF8&node=976419031

因此，您的原始URL A不会重定向任何新的URL B，后者会重定向到C，它会重定向到B，依此类推。

显然，Amazon基于User-Agent标头执行此操作，此时，它设置了一个cookie，随后的请求应将其发送回去。以下作品：

>>> s = requests.Session()
>>> s.headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36'
>>> r = s.get(url)
>>> r
<Response [200]>

这创建了一个会话（为了易于重用和cookie持久性），以及一个Chrome用户代理字符串的副本。请求成功（返回200响应）。