熊猫用append将数据帧写入拼花格式

Question

我正试图在append模式下将pandas数据框写入parquet文件格式（在最新的pandas版本0.21.0中引入）。但是，文件将被新数据覆盖，而不是附加到现有文件。我错过了什么？

写入语法是

df.to_parquet(path, mode='append')

读取语法是

pd.read_parquet(path)

Answer 1

我用过aws牧马人图书馆。它很有魅力

以下是参考文档

https://aws-data-wrangler.readthedocs.io/en/latest/stubs/awswrangler.s3.to_parquet.html

我读过kinesis stream，并使用kinesis python库读取消息并写入s3。我没有包括json的处理逻辑，因为本文处理的是无法将数据附加到s3的问题。在aws sagemaker jupyter执行

以下是我使用的示例代码：

!pip install awswrangler
import awswrangler as wr
import pandas as pd
evet_data=pd.DataFrame({'a': [a], 'b':[b],'c':[c],'d':[d],'e': [e],'f':[f],'g': [g]},columns=['a','b','c','d','e','f','g'])
#print(evet_data)
s3_path="s3://<your bucker>/table/temp/<your folder name>/e="+e+"/f="+str(f)
try:
    wr.s3.to_parquet(
    df=evet_data,
    path=s3_path,
    dataset=True,
    partition_cols=['e','f'],
    mode="append",
    database="wat_q4_stg",
    table="raw_data_v3",
    catalog_versioning=True  # Optional
    )
    print("write successful")       
except Exception as e:
    print(str(e))

任何澄清准备帮助。在更多的帖子中，我已经阅读了读取数据并再次覆盖。但是随着数据变得越来越大，它会减慢过程。效率低下

Answer 2

pandas中没有附加模式。到_parquet（）。你可以做的是读取现有文件，更改它，然后写回它，覆盖它。

Answer 3

要追加，请执行以下操作：

import pandas as pd 
import pyarrow.parquet as pq
import pyarrow as pa

dataframe = pd.read_csv('content.csv')
output = "/Users/myTable.parquet"

# Create a parquet table from your dataframe
table = pa.Table.from_pandas(dataframe)

# Write direct to your parquet file
pq.write_to_dataset(table , root_path=output)

这将自动附加到您的表中。