火花凝聚更多分区

Question

我有一个spark工作，处理大量数据并将结果写入S3。在处理过程中，我可能有超过5000个分区。在写入S3之前，我想减少分区的数量，因为每个分区都是作为一个文件写入的。

在其他一些情况下，处理过程中可能只有50个分区。如果我想合并而不是因为性能原因重新分区，会发生什么。

从文档来看，它说只有当输出分区的数量少于输入时才应该使用coalesce，但是如果不是，它似乎不会导致错误吗？它会导致数据不正确或性能问题吗？

我试图避免计算RDD，以确定分区是否超过输出限制，以及是否合并。

Answer 1

使用默认的PartitionCoalescer，如果分区数大于当前的分区数，并且没有将shuffle设置为true，则分区数保持不变。

coalesce与另一方面的shuffle设置为true相当于重新分区，具有相同的numPartitions值。