按创建日期筛选多个csv文件并连接到一个数据帧中

Question

我想阅读刚刚过去7天创建的csv文件从一个目录到熊猫，并将它们连接到一个大数据帧。不过我还没弄明白。以下是我到目前为止的情况：

编辑：我试图按csv文件的创建日期过滤，而不是按csv中的任何列过滤。

from datetime import datetime, timedelta
import pandas as pd
import glob

fileday = datetime.now() - timedelta(7)
fileday = datetime.strftime(fileday, '%Y%m%d')

path = r'C:\DRO\DCL_rawdata_files' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

Answer 1

你可以做这样的事。

df = pd.DataFrame()

for filename in all_files:
    df = df.append(pd.read_csv(filename))

Answer 2

既然您使用的是pandas，那么让我们结合使用pathlib和pandas。

from pathlib import Path
import pandas as pd 

p = Path(r'C:\DRO\DCL_rawdata_files')

all_files = p.glob('*.csv')

df = pd.DataFrame({'files' : all_files})

df['date'] = pd.to_datetime(df['files'].apply(lambda x : x.stat().st_mtime),unit='s')

# filter your files.
trg_files = df[df['date'] >= pd.Timestamp('now') - pd.DateOffset(days=7)]['files'].tolist()


dfs = [pd.read_csv(f) for f in trg_files]