如何阅读大型csv(20G)[副本]

Question

我是Python的新用户,我的问题是：

sn_fx   sn_tx   dur
5129789 3310325 2
5129789 5144184 1
5129789 5144184 1
5129789 5144184 1
5129789 5144184 1
5129789 6302346 4
5129789 6302346 0

file='cmct_0430x.csv'
for line in file.xreadlines():
    pass

Answer 1

你应该用熊猫。并以适当大小的chunks（已处理的行数）读取csv。然后使用concat获取所有块。

from pandas import *

tp = read_csv('cmct_0430x.csv', iterator=True, chunksize=1000)
df = concat(tp, ignore_index=True) 

熊猫:Read_csv

您得到了内存错误，因为您正在处理整个csv的时间大于您的主内存的大小。试着把它分成块，然后再进行处理。