用熊猫阅读大型文本文件[重复]

Question

我一直试图用Pandas使用read_csv函数读取一些大的文本文件（大小在1.4GB-2GB),但没有结果。以下是我正在使用的版本：

• Python 2.7.6
• Anaconda 1.9.2（64位）（默认值，2013年11月11日，10:49:15)[MSC v.1500 64位(AMD64)]
• IPython 1.1.0
• 熊猫0.13.1

我尝试了以下操作：

df = pd.read_csv(data.txt')

并且它使Ipython崩溃，并发出一条消息:kernel dead，restarting。

然后我尝试使用迭代器：

tp = pd.read_csv('data.txt', iterator = True, chunksize=1000)

Answer 1

一个类似问题的解决方案在这个问题发布后的一段时间给出了这里。基本上，它建议通过执行以下操作以chunks的形式读取文件：

chunksize = 10 ** 6  # number of rows per chunk
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

您应该根据计算机的功能指定chunksize参数（即，确保它能够处理块）。