正在以块形式加载csv文件[副本]

Question

 %%time
 import pandas as pd
 data=pd.read_csv('C:\\Users\\mahes_000\\Desktop\\yellow.csv',iterator=True,
                  chunksize=50000)

在那里我得到了多个chunksize部分，我试图做一些操作，比如

 %%time
 data.get_chunk().head(5)
 data.get_chunk().shape
 data.get_chunk().drop(['Rate_Code'],axis=1)

对于操作，它选择任意一个块体部分，并执行它的所有操作。那剩下的部分呢？如何在没有内存错误的情况下对完整的数据进行操作。

Answer 1

在参数chunksize的文档中：

返回TextFileReader对象进行迭代

因此，通过将对象放置在循环中，您将以chunksize中指定的块迭代读取数据：

chunksize = 5e4
for chunk in pd.read_csv(filename, chunksize=chunksize):
    #print(chunk.head(5))
    #print(chunk.shape())