加载大型csv文件时Python熊猫解析器错误

Question

我正在学习如何通过pandas将大型csv文件加载到python中。我正在使用anaconda和Python3与一台64 GB内存的pc。

贷款组合是一个很大的例子。csv数据集由2509列和100000行组成，约为1.4 GBs。

我可以毫无错误地运行以下代码：

MyList=[]
Chunk_Size = 10000
for chunk in pd.read_csv('Loan_Portfolio_Example_Large.csv', chunksize=Chunk_Size):
    MyList.append(chunk)

然而，当我使用贷款组合时，例如，大型。csv文件创建一个更大的文件，即Loan\u Portfolio\u Example\u Large。csv时，以下代码生成错误。

请注意，我所做的创建较大的文件是我从Loan_Portfolio_Example_L复制100,000行arge.csv并粘贴它们4次（即，粘贴在Excel中的较低行并保存为csv），以创建由500,000个文件组成的文件行和2509列（此文件约为4.2 GB）。

下面的代码创建了一个解析器错误，我不确定为什么因为数据只变得更大，我没有以任何其他方式改变csv文件的结构，我应该有足够的内存，我增加了块大小，这不应该导致任何问题...

有什么想法吗？我想知道csv是否在保存时被损坏了（因为它太大了）

MyList=[]
Chunk_Size = 100000
for chunk in pd.read_csv('Loan_Portfolio_Example_Larger.csv', chunksize=Chunk_Size):
    MyList.append(chunk)

错误输出：

--------------------------------------------------------------------------- ParserError Traceback（最近的调用最后）在2 MyList=[] 3Chunk_Size=100000----

C：\Program Data\Anaconda3\lib\site-包\熊猫\io\parsers.py在下一个（自我）1126 def下一个（自我）： 1127尝试：-

C:\ProgramData\Anaconda3\lib\site packages\pandas\io\parsers。获取块中的py（self，size）1186提升停止迭代
1187 size=min（size，self.nrows-self.\currow）-

C:\ProgramData\Anaconda3\lib\site packages\pandas\io\parsers。py in read（self，nrows）1152 def read（self，nrows=None）：1153
nrows=\u validate\u integer（“nrows”，nrows）-

C：\Program Data\Anaconda3\lib\site-包\熊猫\io\parsers.py在读取（自我，nrows）2057 def读取（自我，nrows=无）： 2058
try：-

熊猫库\解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器。读（）

熊猫库\解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器_读低内存（）

熊猫库\解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器_读_行（）

熊猫库\解析器。大熊猫中的pyx_图书馆。解析器。文本阅读器_标记化_行（）

熊猫库\解析器。大熊猫中的pyx_图书馆。解析器。raise_解析器_错误（）

ParserError:标记数据时出错。C错误：第145134行中预期有2509个字段，saw 3802

Answer 1

似乎记录145134在数据中有一些分隔符，并使其看起来有更多的列。尝试将read_csv与下面的参数一起使用，这样它会让您知道有问题的记录，但不会停止该过程。

pd.read_csv('Loan_Portfolio_Example_Large.csv', 
             chunksize=Chunk_Size, 
             error_bad_lines=False,
             warn_bad_lines=True)