使用熊猫read_csv压缩

Question

我试图在pandas中使用read\u csv从FTP服务器读取压缩文件。zip文件只包含一个文件，这是必需的。

这是我的密码：

pd.read_csv('ftp://ftp.fec.gov/FEC/2016/cn16.zip', compression='zip')

我得到这个错误：

AttributeError: addinfourl instance has no attribute 'seek'

我在pandas 18.1和19.0中都遇到了这个错误。我是否遗漏了什么，或者这可能是一个错误？

Answer 1

header = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:32.0) Gecko/20100101 Firefox/54.0.1',}
remotezip = requests.get(url, headers=header)
root = zipfile.ZipFile(io.BytesIO(remotezip.content))
for name in root.namelist():
            df = pd.read_csv(root.open(name)) 

摘自我自己的博文：不用下载zipfile就可以阅读PythonPandas中的压缩csv文件

Answer 2

虽然我不完全确定您为什么会出现错误，但您可以通过使用urllib2打开url并将数据写入内存中的二进制流来绕过它，如图所示。此外，我们必须指定正确的分隔符，否则我们将收到另一个错误。

import io
import urllib2 as urllib
import pandas as pd

r = urllib.urlopen('ftp://ftp.fec.gov/FEC/2016/cn16.zip')
df = pd.read_csv(io.BytesIO(r.read()), compression='zip', sep='|', header=None)

至于错误本身，我认为pandas试图在下载url内容之前在“zip文件”上使用seek（因此它不是真正的zip文件），这将导致该错误。

Answer 3

熊猫现在支持直接从zip或其他压缩文件加载数据到DataFrame。

压缩：{'infer'，'gzip'，'bz2'，'zip'，'xz'，None}，默认值为'infer'

用于实时解压缩磁盘上的数据。如果“推断”和filepath_或_buffer类似于路径，则检测来自以下扩展名的压缩：'。gz'。bz2'。“拉链”或“拉链”。xz'（否则不进行解压缩）。如果使用“zip”，zip文件必须只包含一个要读入的数据文件。设置为“无”表示无解压缩。

版本0.18中的新功能。1：支持“zip”和“xz”压缩。

import pandas as pd

df = pd.read_csv("path_to_file.zip")
# or
df = pd.read_csv("path_to_file.zip", compression="zip")