将文件夹的多个csv文件加载到一个数据帧中

Question

我有多个csv文件保存在一个文件夹中，具有相同的列布局，并希望将其作为pandas中的数据帧加载到python中。

这个问题与这条线索非常相似。

我使用以下代码：

import glob
import pandas as pd
salesdata = pd.DataFrame()
for f in glob.glob("TransactionData\Promorelevant\*.csv"):
    appenddata = pd.read_csv(f, header=None, sep=";")
    salesdata = salesdata.append(appenddata,ignore_index=True)

还有更好的解决方案吗？

这需要很多时间。

谢啦

Answer 1

也许使用bash会更快：

head -n 1 "TransactionData/Promorelevant/0.csv" > merged.csv
tail -q -n +2 TransactionData/Promorelevant*.csv >> merged.csv

或者在jupyter笔记本中使用

!head -n 1 "TransactionData/Promorelevant/0.csv" > merged.csv
!tail -q -n +2 "TransactionData/Promorelevant*.csv" >> merged.csv

这样做的目的是不需要解析任何内容。

第一个命令复制其中一个文件的头。如果没有标题，可以跳过这一行。Tail跳过所有文件的标题并将其添加到csv。

在Python中追加可能更昂贵。

当然，使用pandas确保您的解析仍然有效。

pd.read_csv("merged.csv")

对你的基准很好奇。

Answer 2

在链接到实际答案的帮助下

这似乎是最好的一行：

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "*.csv"))))

Answer 3

我建议将列表理解与concat结合使用：

import glob
import pandas as pd

files = glob.glob("TransactionData\Promorelevant*.csv")
dfs = [pd.read_csv(f, header=None, sep=";") for f in files]

salesdata = pd.concat(dfs,ignore_index=True)