覆盖spark数据帧写入方法中的特定分区

Question

我想覆盖特定的分区，而不是spark中的所有分区。我正在尝试以下命令：

df.write.orc('maprfs:///hdfs-base-path','overwrite',partitionBy='col4')

其中df是具有要覆盖的增量数据的数据帧。

hdfs基本路径包含主数据。

当我尝试上述命令时，它会删除所有分区，并将df中存在的分区插入hdfs路径。

我的要求是只覆盖df中指定hdfs路径上的那些分区。有人能帮我一下吗？

Answer 1

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")
data.toDF().write.mode("overwrite").format("parquet").partitionBy("date", "name").save("s3://path/to/somewhere")

这适用于AWS Glue ETL作业（Glue 1.0-Spark 2.4-Python 2）

Answer 2

这是一个常见的问题。Spark高达2.0的唯一解决方案是直接写入分区目录，例如。，

df.write.mode(SaveMode.Overwrite).save("/root/path/to/data/partition_col=value")

如果您使用的是Spark 2.0之前的版本，则需要使用以下方法阻止Spark发出元数据文件（因为它们会破坏自动分区发现）：

sc.hadoopConfiguration.set("parquet.enable.summary-metadata", "false")

如果您使用的是1.6.2之前的Spark，还需要删除根/路径/到/数据/分区列=值中的成功文件，否则它的存在将中断自动分区发现。（我强烈建议使用1.6.2或更高版本。）

您可以从我关于防弹作业的Spark峰会演讲中获得有关如何管理大型分区表的更多详细信息。

Answer 3

终于！这现在是Spark 2.3.0： SPARK-20236中的一项功能

要使用它，需要设置火花。sql。来源。partitionOverwriteMode设置为动态，数据集需要分区，写入模式覆盖。例子：

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")
data.write.mode("overwrite").insertInto("partitioned_table")

我建议在编写之前根据您的分区列进行重新分区，这样您就不会在每个文件夹中有400个文件。

在Spark 2.3.0之前，最好的解决方案是启动SQL语句删除这些分区，然后使用模式append编写它们。