如何用pandas解析大量的txt文件，并以某种方式理解表的每个raw来自哪个文件[重复]

Question

YEAR   NAME  GENDER  QUANTITY
1998   Marie    F      2994  
1996   John     M      2984
1897   Molly    F       54

这是我的代码为1个文件，但我需要做同样的100多个文本文件...

import pandas as pd

df = pd.read_csv("yob1880.txt", header=None)
df["year"] = 1880 # add new column according to the file`s year
print(df)

Answer 1

这里有两个问题：

1. 如何从文件名中提取年份并分配给新列。
2. 如何连接多个数据集。

对于前者，可以使用字符串切片和pd.dataframe.assign；对于后者pd.concat。假设文件名的格式为yobxxx.txt:

df = pd.concat(pd.read_csv(fn).assign(YEAR=int(fn[3:7])) for fn in filenames)

df = pd.concat((pd.read_csv(fn).assign(YEAR=int(fn[3:7)) for fn in filenames),
               ignore_index=True)