火花中的coalesce（Num分区）是否经过洗牌？

Question

我在火花变换函数中有一个简单的问题。

coalesce（numPartitions） - 将 RDD 中的分区数减少到 numPartitions。可用于在筛选大型数据集后更有效地运行操作。

val dataRDD = sc.textFile("/user/cloudera/inputfiles/records.txt")
val filterRDD = dataRDD.filter(record => record.split(0) == "USA")
val resizeRDD = filterRDD.coalesce(50)
val result    = resizeRDD.collect

我的问题是

> < Li > < p > coalesce(num partitions)真的会从filterRDD中删除空分区吗？

coalesce(numPartitions)是否经历了洗牌？

Answer 1

coalesce转换用于减少分区的数量。如果输出分区的数量小于输入，则应使用coalesce。它可以根据默认禁用（即假）的洗牌标志触发RDD洗牌。

如果分区的数量大于当前分区的数量，并且您正在使用不带shuffle=true标志的< code>coalesce方法，则分区的数量保持不变。< code>coalesce不保证空分区将被删除。例如，如果您有20个空分区和10个有数据的分区，那么在您调用< code>rdd.coalesce(25)之后，仍然会有空分区。如果在shuffle设置为true的情况下使用< code>coalesce,则这将等效于< code>repartition方法，数据将在分区之间均匀分布。