有没有一种方法可以在读取csv文件的行后删除它们？[副本]

Answer 1

为了节省内存，最好是分块读取大型CSV文件，而不是尝试一次加载整个文件。然后，每个块都可以舒服地放入内存中。这是使用read_csv()的chunksize参数完成的。

每个块都作为其自己的数据文件返回，然后可以根据需要将其写出到单独的CSV文件中。例如：

import pandas as pd

with pd.read_csv("large.csv", chunksize=1000) as reader:
    for chunk_number, df_chunk in enumerate(reader, start=1):
        print(chunk_number)
        df_chunk.to_csv(f"large_chunk{chunk_number:03}.csv", index=False)

这将创建多个名为large_chunk001.CSV的输出CSV文件，以此类推。每个块包含1000行（我建议使用大得多的行）。