如何在Python dataframe中读取数据而不进行级联？

Question

我想读文件f（文件大小:85GB)的块到一个数据帧。建议使用以下代码。

chunksize = 5
TextFileReader = pd.read_csv(f, chunksize=chunksize)

但是，这段代码给了我TextFileReader，而不是DataFrame。而且，由于内存限制，我不想将这些块串联起来以将TextFileReader转换为dataframe。请指教。

Answer 1

当您正在尝试处理85GB的CSV文件时，如果您试图通过将其分解成块并将其转换为数据帧来读取所有的数据，那么它肯定会达到内存限制。你可以尝试用不同的方法来解决这个问题。在这种情况下，可以对数据使用筛选操作。例如，如果数据集中有600列，而您只对50列感兴趣。尝试只从文件中读取50列。这样你会节省很多内存。在读取行时处理行。如果需要首先过滤数据，请使用生成器函数。yield使一个函数成为生成器函数，这意味着在您开始对其进行循环之前，它不会执行任何工作。

有关生成器函数的更多信息：读取一个巨大的.csv文件

有关高效过滤，请参阅:https://codereview.stackExchange.com/questions/88885/Efficient-filter-a-large-100gb-csv-file-v3

用于处理较小的数据集：

方法1：将reader对象直接转换为dataframe：

full_data = pd.concat(TextFileReader, ignore_index=True)

为了避免索引的两面性，有必要在concat函数中添加参数ignore index。

df=TextFileReader.get_chunk(3)

for chunk in TextFileReader:
    print(chunk)

来源:http://pandas.pydata.org/pandas-docs/stable/io.html#io-chunking

df=pd.dataframe(TextFileReader.get_chunk(1))

这将把一个块转换为数据帧。

number_of_chunks=0

for chunk in TextFileReader:
   number_of_chunks=number_of_chunks+1 


print(number_of_chunks)