转换后保留Spark数据帧的分区数

Question

我正在查看代码中的一个错误，其中一个数据框被分成了太多的分区（超过700个），当我试图将它们重新分区为48个时，这会导致太多的洗牌操作。我不能在这里使用coalesce（），因为我想在重新分区之前首先拥有更少的分区。

我正在寻找减少分区数量的方法。假设我有一个 spark 数据帧（具有多个列），分为 10 个分区。我需要根据其中一列进行 orderBy 转换。完成此操作后，生成的数据帧是否具有相同数量的分区？如果没有，火花将如何决定分区的数量？

另外，除了像re分区（）这样的明显转换之外，还有哪些其他转换可能导致数据帧分区数的变化，我需要注意这些转换？

Answer 1

需要交换的操作的分区数由spark.sql.shuffle.partitions定义。如果需要特定值，则应在执行命令之前设置该值：

scala> val df = spark.range(0, 1000)
df: org.apache.spark.sql.Dataset[Long] = [id: bigint]

scala> spark.conf.set("spark.sql.shuffle.partitions", 1)

scala> df.orderBy("id").rdd.getNumPartitions
res1: Int = 1

scala> spark.conf.set("spark.sql.shuffle.partitions", 42)

scala> df.orderBy("id").rdd.getNumPartitions
res3: Int = 42