将大熊猫数据帧分块写入CSV文件

Question

如何将大数据文件分块写入CSV文件？

我有一组大型数据文件（1M行x 20列）。但是，我只关注该数据的5列左右。

我想通过只用感兴趣的列制作这些文件的副本来使事情变得更容易，所以我可以使用较小的文件进行后期处理。因此，我计划将文件读取到数据帧中，然后写入csv文件。

我一直在研究将大数据文件以块的形式读入数据框。但是，我还无法找到有关如何将数据分块写入csv文件的任何信息。

这是我现在正在尝试的方法，但这不会附加csv文件：

with open(os.path.join(folder, filename), 'r') as src:
    df = pd.read_csv(src, sep='\t',skiprows=(0,1,2),header=(0), chunksize=1000)
    for chunk in df:
        chunk.to_csv(os.path.join(folder, new_folder,
                                  "new_file_" + filename), 
                                  columns = [['TIME','STUFF']])

Answer 1

解：

header = True
for chunk in chunks:

    chunk.to_csv(os.path.join(folder, new_folder, "new_file_" + filename),
        header=header, cols=[['TIME','STUFF']], mode='a')

    header = False

笔记：

• 在mode='a'讲述大熊猫追加。
• 我们只在第一个块上写一个列标题。