如何在Spark中重新分区为每列固定数量的分区？

Question

我需要从一个Hive表中读取数据并将其插入到另一个Hive表中。两个表的架构是相同的。该表按日期分区

步骤1:从Spark的源表中读取数据。

第 2 步：按列（国家、日期）和分区数重新分区为 4。

df.repartition(4, col("country_code"), col("record_date"))

我只得到每个国家代码1个分区

Answer 1

无论您在步骤2中做什么，都会将数据重新分区到内存中的4个分区，但如果您执行df.write，则不会保存4个文件。

为此，您可以使用以下代码：

df.repartition(4, col("country_code"),col("record_date"))
.write
.partitionBy(col("country_code"),col("record_date"))
.mode(SaveMode.Append).saveAsTable("TableName")