使用spark覆盖配置单元分区

Question

我正在与AWS工作，我有使用Spark和Hive的工作流。我的数据是按日期分区的，所以每天我的S3存储中都有一个新分区。我的问题是，当有一天加载数据失败时，我不得不重新执行那个分区。接下来编写的代码是：

df                            // My data in a Dataframe
  .write
  .format(getFormat(target))  // csv by default, but could be parquet, ORC...
  .mode(getSaveMode("overwrite"))  // Append by default, but in future it should be Overwrite
  .partitionBy(partitionName) // Column of the partition, the date
  .options(target.options)    // header, separator...
  .option("path", target.path) // the path where it will be storage
  .saveAsTable(target.tableName)  // the table name

在我的流动中发生了什么？如果我使用savemode.overwrite，完整的表将被删除，并且只保存分区。如果我使用savemode.append，我可能会有重复的数据。

| A | B | C | 
|---|---|---| 
| b | 1 | 2 | 
| c | 1 | 2 |

| A | B | C | 
|---|---|---| 
| a | 1 | 2 | 
| b | 5 | 2 | 

我想要的是：在表中，分区A留在表中，分区B用数据覆盖，并添加分区C。有没有任何解决方案使用火花，我可以做到这一点？

我的最后一个选择是首先删除要保存的分区，然后使用savemode.append，但如果没有其他解决方案，我会尝试这样做。

Answer 1

如果您使用的是Spark2.3.0，请尝试将Spark.sql.sources.PartitionOverwriteMode设置设置为Dynamic，则需要对数据集进行分区，并覆盖写模式。

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")
data.write.mode("overwrite").insertInto("partitioned_table")