重新划分后再合并是不可取的

Question

我希望在进行计算时加快很多任务，但在写入表时合并成一组较小的分区。

下面给出了一个简单的演示示例，其中在执行过程中不支持重新分区。

我的预期输出是，映射操作发生在100个分区，最后收集发生在只有10个分区。

Spark似乎通过忽略重新分区优化了执行。如果有人能解释一下如何实现我的预期行为，那会很有帮助。

sc.parallelize(range(1,1000)).repartition(100).map(lambda x: x*x).coalesce(10).collect()

Answer 1

"当请求的分区越少（原文如此）时，返回一个新的数据集，该数据集具有确切的数字分区分区。如果请求的分区数量更多，它将保持当前的分区数量。"

https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.Dataset@coalesce数据集org.apache.spark.sql.

Answer 2

使用重新划分有助于实现预期的行为，而不是合并。

sc.parallelize（范围（11000））。再分配（100）。地图（λx:x*x）。缓存（）。重新划分（10）。collect（）

这有助于解决我的问题。但是，仍然希望对此行为有一个解释。