使用配置单元的pyspark，append将添加到现有分区并复制数据

Question

我目前正在使用adwords api，我必须处理1天、7天和30天的数据。因此，spark作业是基本的，加载csv并将其写入带有分区的拼花地板：

df.write
  .mode("append")
  .format("parquet")
  .partitionBy("customer_id", "date")
  .option("path", warehouse_location+"/"+table)
  .saveAsTable(table)

现在我面临的问题是，7和30天将在某个时候（通过1天前）处理已经处理过的数据，因此在我的分区table/customer_id/date/file.parquet上，追加将追加第二个拼花文件到这个分区。

但在这种特定情况下，我希望新的拼花文件覆盖上一个文件（因为adwords csv将在生成的第一天到7/30天后进行更改）。

我环顾四周，如果我尝试使用“覆盖”，它会覆盖整个表，而不仅仅是分区。

你对如何在这里进行有什么建议吗？

我不是Spark专家，现在我唯一想做的就是有一个脚本，可以根据文件时间戳清理这个地方。但这似乎不是正确的解决方案。

PS：我用的是Spark 2.4

Answer 1

根据SPARK-20236，您应该设置SPARK。sql。来源。partitionOverwriteMode=“动态”属性，然后使用“覆盖”模式替换现有表中的各个分区。