下载前使用与从urlopen检索到的HTTP头不匹配的HTTP头获取文件大小

Question

为什么在使用请求和urlopen（url）的情况下内容长度不同。info（）

>>> url = 'http://pymotw.com/2/urllib/index.html'

>>> requests.head(url).headers.get('content-length', None)
'8176'
>>> urllib.urlopen(url).info()['content-length']
'38227'
>>> len(requests.get(url).content)
38274

我要检查文件的大小，以字节为单位，将缓冲区分割为多个线程基于urllib2中的Range，但如果我没有文件的实际大小，以字节为单位，它将无法工作。.

只有len（requests.get（url.content）给出了38274最接近但仍然不正确，而且它正在下载我不想要的内容。

Answer 1

默认情况下，请求将发送'Accept-Encode'：'gzip'作为请求头的一部分，服务器将用压缩内容进行响应：

>>> r = requests.head('http://pymotw.com/2/urllib/index.html')
r>>> r.headers['content-encoding'], r.headers['content-length']
('gzip', '8201')

但是，如果您手动设置请求标头，那么您将获得未压缩的内容：

>>> r = requests.head('http://pymotw.com/2/urllib/index.html',headers={'Accept-Encoding': 'identity'})
>>> r.headers['content-length']
'38227'