循环访问目录中的文件，并根据其他文件从中删除行

Question

我正在寻找一种方法来迭代目录中的30个文件，并从他们删除基于其他文件中的id行。这些文件包含两列——ID和一个值，没有列名。另一个文件只包含一个应该删除的id(“id”)列(“ids_toberemoved”)。30个文件清理后，我想把它们导出到其他文件夹。

这是我目前掌握的情况:

import pandas as pd
import os

ids_toberemoved = pd.read_csv('F:\\ids.csv')

myPath = "F:\\Other"

filesList= []

for path, subdirs, files in os.walk(myPath):
    for name in files:
        filesList.append(os.path.join(name))

dataframes = []

for filename in filesList:
    dataframes.append(pd.read_csv(filename))

for df in dataframes:
    df_cleaned = df.merge(ids_toberemoved, left_index=True, right_on=['id'],
                   how='left', indicator=True)
    df_cleaned[df_cleaned._merge != 'both']

我在迭代数据帧并用‘IDs _ tobe removed’连接它们的步骤中遗漏了一些东西，以便删除具有匹配id的行。此外，我不知道如何存储每一个文件，清理后，到其他文件夹。

感谢任何帮助！

Answer 1

尝试以下方法：

from pathlib import Path

myPath = Path("F:\\Other")
ids_toberemoved = pd.read_csv('F:\\ids.csv', squeeze=True)

res = pd.concatenate([pd.read_csv(f, header=None, names=["ID","val"])
                        .query("ID not in @ids_toberemoved")
                      for f in myPath.glob("*.csv")], 
                     ignore_index=True)

更新：为了清理文件并将它们单独导出为"filename_clean.csv"：

_ = [pd.read_csv(f, header=None, names=["ID","val"])
       .query("ID not in @ids_toberemoved")
       .to_csv(f.with_name(f"{f.stem}_clean{f.suffix}"), index=False)
    for f in myPath.glob("*.csv")]