spark数据集覆盖spark 2.4中不工作的特定分区

Question

在我的工作中，最后一步是将执行的数据存储在配置单元表中，分区位于“date”列。有时，由于作业失败，我需要单独为特定的分区重新运行作业。正如所观察到的，当我使用下面的代码时，spark会在使用覆盖模式时覆盖所有分区。

ds.write.partitionBy("date").mode("overwrite").saveAsTable("test.someTable")

在浏览了多个博客和stackoverflow之后，我按照以下步骤只覆盖特定的分区。

Step 1: Enbable dynamic partition for overwrite mode
spark.conf.set("spark.sql.sources.partitionOverWriteMode", "dynamic")

Step 2: write dataframe to hive table using saveToTable

Seq(("Company1", "A"), 
("Company2","B"))
.toDF("company", "id")
.write
.mode(SaveMode.Overwrite)
.partitionBy("id")
.saveAsTable(targetTable)

spark.sql(s"SELECT * FROM ${targetTable}").show(false)
spark.sql(s"show partitions ${targetTable}").show(false)

Seq(("CompanyA3", "A"))
.toDF("company", "id")
.write
.mode(SaveMode.Overwrite)
.insertInto(targetTable)

spark.sql(s"SELECT * FROM ${targetTable}").show(false)
spark.sql(s"show partitions ${targetTable}").show(false)

根据本博客https://www.waitingforcode.com/apache-spark-sql/html" target="_blank">apache-spark-sql-hive-insertinto-command/read，“insertinto”应该只覆盖特定的分区

如果我先创建表，然后使用“insertinto”方法，它工作得很好

我想知道，通过SaveToTable创建配置单元表和手动创建表有什么区别？为什么它在第一个场景中不起作用？有人能帮我吗？

Answer 1

试着用小写W！

spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")

不是

spark.conf.set("spark.sql.sources.partitionOverWriteMode", "dynamic")

它愚弄了我。如果您查看，您的脚本中使用了两个变体。