从同一文件夹中的多个文件创建一个csv文件[重复]

Question

我在同一个文件夹中有数千个csv文件名，如下file_x_x.csv，其中x是1到10000之间的数字。每个文件包括一个标题和一行数据：

file_1_1.csv

Name Surname Age Address
Michael O'Donnel 22 George St.

Name Surname Age Address
Mary Jane 34 Camden St.

Name Surname Age Address
Michael O'Donnel 22 George St.
Mary Jane 34 Camden St.

我的方法：

import pandas as pd
import glob

path = # add path
all_files = glob.glob(path + ".csv") # look for all the csv files in that folder. Probably this is not the right code for looking at them

file_list = []

for filename in all_files:
    df = pd.read_csv(filename)
    file_list(df)

我不知道如何在最后创建一个唯一的文件。你能看一下上面的代码并告诉我如何获得所需的输出吗？如果我错过了什么？

Answer 1

你不需要在这里做任何复杂的事情。你知道标题行，你知道你希望决赛是除了标题之外的一切。只需打开文件，跳过第一行，然后写。这比内存中一堆数据流的内存消耗要高效得多。

import glob

with open("final_file.csv", "w") as outfile:
    for count, filename in enumerate(glob.glob(path + ".csv")):
        with open(filename) as infile:
            header = next(infile)
            if count == 0:
                outfile.write(header)
            line = next(infile)
            if not line.startswith("\n"):
                line = line + "\n"
            outfile.write(line)