使用Python读取大型csv文件

Question

我使用Dask读取2.5GB csv文件，Python给了我错误。这是我写的代码：

import pandas as pd
import numpy as np
import time
from dask import dataframe as df1

s_time_dask = time.time()
dask_df = df1.read_csv('3SPACK_N150_7Ah_PressureDistributionStudy_Data_Matrix.csv')
e_time_dask = time.time()

以下是我从Python得到的错误：

dask_df=df1.read_csv（'3SPACK_N150_7Ah_压力分布研究_Data_Matrix.csv'））

文件“C:\ProgramData\Anaconda3\lib\site packages\dask\dataframe\io\csv.py”，第645行，读取返回读取\u(

文件“C:\ProgramData\Anaconda3\lib\site packages\dask\dataframe\io\csv.py”，第525行，read\u pandas head=reader（BytesIO（b\u示例），**kwargs）

文件“C:\ProgramData\Anaconda3\lib\site packages\pandas\io\parsers.py”，第686行，在read\U csv return\U read（文件路径或缓冲区，kwds）中

文件"C：\Program Data\Anaconda3\lib\site-包\熊猫\io\parsers.py"，第458行，_readdata=parser.read（nrow）

文件"C：\Program Data\Anaconda3\lib\site-包\熊猫\io\parsers.py"，第1196行，在read ret=自己。_engine.read（nrow）

文件“C:\ProgramData\Anaconda3\lib\site packages\pandas\io\parsers.py”，第2155行，在read data=self.\u reader.read（nrows）中

在熊猫中文件"pandas_libs\parsers.pyx"，第847行。_libs.parsers.TextReader.read

文件“pandas\libs\parsers.pyx”，第862行，在pandas.\libs.parsers.TextReader.\u读取\u内存不足

文件“pandas_libs\parsers.pyx”，第918行，在pandas._libs.parsers.TextReader._read_行中

文件"pandas_libs\parsers.pyx"，行905，在熊猫。_libs.parsers.TextReader。_tokenize_rows

文件“pandas\libs\parsers.pyx”，第2042行，在pandas.\u libs.parsers.raise\u parser\u错误

ParserError：标记数据出错。C错误：第43行中预期1个字段，锯9

你能帮我解决这个问题吗？

谢谢

Answer 1

如果确实需要打开所有数据，可以分块打开，这样就不会占用所有内存：read\u csv（）有一个名为chunksize的属性。你可以在kite.com上看到它的工作原理。

您还可以查看pandas文档。

Answer 2

简言之：你的记忆不足。您试图将更多的数据加载到python中，超出了机器内存的容量（python的内存使用率高于C/C/etc，但这些语言也会达到极限）。

要解决此问题，您可能需要使用csvreader读取文件，这样您可以逐行读取。然后处理该行，以仅获取所需的列，或逐行启动所需的任何聚合。如果您不能做到这一点，那么如果您确实需要一次将所有数据存储在内存中，那么您需要使用较小的数据集，或者使用具有更多内存的系统。

如果您的文件是2.5G，那么如果您的系统需要大约20GB的内存，我也不会感到惊讶。但正确的估计方法是加载固定数量的行，计算出进程正在使用多少，然后读取两倍于该数量的行，然后再次查看内存使用情况。从较高的数字中减去较低的数字，这可能就是容纳那么多行所需的内存量（大约）。然后，您可以计算所有数据需要多少。

Answer 3

您的错误与内存无关。Dask通过选择固定的字节偏移量，然后从每个偏移量扫描到最近的换行符，以块方式加载像CSV这样的文本文件。这样，您就可以从多个进程甚至多台机器访问同一个文件，并且一次只能处理与工作线程一样多的块。

不幸的是，换行符并不总是意味着行的结尾，因为它们可能发生在某些文本字段的引用字符串中。这意味着您基本上无法用dask的read_csv读取文件，除非您抢先找到一组字节偏移，以保证干净的分区，而不会在引用的字符串中间中断。