解压缩下载的。由于UnicodeDecodeError，gz文件失败

Question

尝试下载. gz文件，将其解压缩到内存中，然后逐行读取解压缩后的内容。

import requests

r = requests.get(url)
print(r.headers)

with gzip.open(r.content, 'rb') as f:
    '''Reading line by line'''

现在，标题如下所示：

{'Date'：'Fri，23 Aug2019 07:19:28GMT'，'Server'：'Apache'，'X-Content-Type-Options'：'nosnff'，'X-Frame-Options'：'samesource'，'Referre-Policy'：'no-引用者'，'X-Xss-Prot'：'1'，'last-Modiated'：'Sat，23 Jun2018 09:21:46GMT'，'ETag'：'8be6ca-56f4bad760d07'，'Accept-Ranges'：'bytes'，'Content-Llong'：'9168586'，'X-Clacks-Overhead'：'GNU Terry Pratchett'，'Cache-Control'：'public， max-age=120'，'Keet-Alive'：'timeout=5， max=100'，'Connection'：'Keet-Alive'，'Content-Type'：'Application/x-gzip'}

我得到的错误似乎是一个编码错误，但请求已经在UTF-8和gzip中包含了内容。open（）需要UTF-8，因此我没有收到此错误：

UnicodeDecodeError：“utf-8”编解码器无法对位置1中的字节0x8b进行解码：起始字节无效

还有一些类似的问题，对我没有帮助。

Answer 1

根据[Python请求2]：开发人员接口类请求。回答内容（重点是我的）：

响应的内容，以字节为单位。

另一方面，[Python 3. Docs]：gzip.open（filename， mode='rb'， complslevel=9，编码=无，错误=无，换行符=无）：

filename参数可以是实际文件名（str或bytes对象），也可以是要读取或写入的现有文件对象。

要解决此问题，您不应该将r.content传递给gzip.open，而是：

>

用一个io包装它。BytesIO类似对象，并将其传递给gzip.open：

with gzip.open(io.BytesIO(fc)) as f:
    # Your original code (that reads line by line)

将其传递给gzip。解压缩：

extracted = gzip.decompress(r.content)
for line in extracted.split(b"\n"):
    # Process each line
    print(line.decode())

或（与上一个项目符号组合）

with io.BytesIO(gzip.decompress(r.content)) as f:
    # Your original code (that reads line by line)

将其保存到文件中，并将其名称传递给gzip。打开（请注意，这非常慢，可能会引入其他潜在问题，正如@Aran Fey所指出的）：

file_name = "content.gzip"
with open(file_name, "wb") as f:
    f.write(r.content)
with gzip.open(r.content, 'rb') as f:
    # Your original code (that reads line by line)
os.unlink(file_name)