将pyspark Dataframe写入具有相同列数和一个附加自动增量列的雪花表

Question

我有一个pyspark dataframe有5列，我需要写到雪花表有6列，5列与dataframe列相同，但雪花表中有一个额外的自动增量列。

当我试图将此数据frame写入雪花表，但它给出了一个错误；由于dataframe和Snowflake表中的列数不同，导致列不匹配。我已经尝试了mode='append'，但这不起作用。

df.write.format(snowflake_source_name) \
            .options(**sfoptions) \
            .option("dbtable", table_name) \
            .mode("append").save()

我希望dataframe中的这5列应该被插入到雪花表中，并且第6个自动递增雪花列应该为插入的每一行自动递增。

Answer 1

自动递增列将像序列一样自动递增。不需要给出数据帧，否则会有列不匹配。在SnowFlake中定义表时，必须在SnowFlake DB中指定序列，这将非常小心。Rest所有的代码看起来都很好。