python高效地将多个excel中的所有工作表追加到pandas dataframe中

Question

我有大约20++个xlsx文件，每个xlsx文件中可能包含不同数量的工作表。但是感谢上帝，所有的列都是所有工作表和所有xlsx文件中的一些列。通过参考这里“，我有了一些想法。我一直在尝试几种方法将所有excel文件（所有工作表）导入和追加到一个数据表（大约400万行记录）中。

注意：我也检查了这里“，但它只包括文件级别，我的同意文件和工作表级别。

# import all necessary package
import pandas as pd
from pathlib import Path
import glob
import sys

# set source path
source_dataset_path = "C:/Users/aaa/Desktop/Sample_dataset/"
source_dataset_list = glob.iglob(source_dataset_path + "Sales transaction *")

for file in source_dataset_list:
#xls = pd.ExcelFile(source_dataset_list[i])
    sys.stdout.write(str(file))
    sys.stdout.flush()
    xls = pd.ExcelFile(file)
    out_df = pd.DataFrame() ## create empty output dataframe

    for sheet in xls.sheet_names:
        sys.stdout.write(str(sheet))
        sys.stdout.flush() ## # View the excel files sheet names
        #df = pd.read_excel(source_dataset_list[i], sheet_name=sheet)
        df = pd.read_excel(file, sheetname=sheet)
        out_df = out_df.append(df)  ## This will append rows of one dataframe to another(just like your expected output)

我的方法是，首先读取每一个excel文件，并在其中获得一个表单列表，然后加载表单并追加所有表单。当每次追加都增加datasize时，循环似乎不是很有效。

Answer 1

在read_excel中使用sheet_name=none，以返回从所有sheetnames创建的数据集的顺序，然后通过concat和最后一个dataframe连接在一起。append到最后一个dataframe:

out_df = pd.DataFrame()
for f in source_dataset_list:
    df = pd.read_excel(f, sheet_name=None)
    cdf = pd.concat(df.values())
    out_df = out_df.append(cdf,ignore_index=True)

另一种解决方案：

cdf = [pd.read_excel(excel_names, sheet_name=None).values() 
            for excel_names in source_dataset_list]

out_df = pd.concat([pd.concat(x) for x in cdf], ignore_index=True)