从dask dataframe保存多个拼花文件

Question

我想从Dask dataframe中保存多个parquet文件，一个parquet文件用于特定列中的所有唯一值。因此，parquet文件的数量应该等于该列中唯一值的数量。

import pandas as pd
from dask import dataframe as dd

df = pd.DataFrame(
    {
        "A": [1, 1, 2, 3, 1, 3, 6, 6],
        "B": ["A", "L", "C", "D", "A", "B", "A", "B"],
        "C": [1, 2, 3, 4, 5, 6, 7, 8],
    }
)
ddf = dd.from_pandas(df, npartitions=2)

for i in ddf["A"].unique().compute():
    ddf.loc[ddf["A"] == i].to_parquet(f"file_{i}.parquet", schema="infer")

Answer 1

这并不完全是您想要的，但是可以使用.to_parquet的partition_on选项：

ddf.to_parquet("file_parquet", schema="infer", partition_on="A")

请注意，这并不能保证每个分区有一个文件，而是在file_parquet中有子文件夹，可能包含多个文件。