我如何用熊猫读取一个大的csv文件？

Question

MemoryError                               Traceback (most recent call last)
<ipython-input-58-67a72687871b> in <module>()
----> 1 data=pd.read_csv('aphro.csv',sep=';')

...

MemoryError: 

有什么能帮上忙的吗？

Answer 1

该错误显示计算机没有足够的内存来一次将整个CSV读入数据帧。假设您不需要一次在内存中全部存储整个数据集，避免该问题的一种方法是以块形式处理CSV（通过指定chunksize参数）：

chunksize = 10 ** 6
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

chunksize参数指定每个块的行数。（当然，最后一个块可能包含少于chunksize行。）

read_csvwithchunksize返回上下文管理器，使用方法如下：

chunksize = 10 ** 6
with pd.read_csv(filename, chunksize=chunksize) as reader:
    for chunk in reader:
        process(chunk)