spark如何确定重新分区和合并中RDD的首选位置？

Question

RDD什么时候得到它的首选位置？首选位置是如何确定的？我在重新划分和合并中看到了一些奇怪的行为，我不太明白。当合并n到n-1个分区时，我看到spark只是将一个分区合并到另一个分区。(我认为理想的行为是平均分配给所有n-1个节点)

上述行为是否与preferedLocations有关？

Answer 1

请注意＜code＞rdd。repartition（n）只调用rdd。合并（n，shuffle=true），所以我们只是比较shuffle true和false。

在这种模式下，Spark构建一个新的RDD，其分区包含父RDD的一个或多个分区——如果您从n分区合并-

出于某种背景，我推荐这篇博文，以了解更多关于我们如何以及为什么洗牌的知识。这种执行模式的基本区别是：

• 更高的开销（所有数据都通过网络传输）
• 非常适合重新平衡分区（如果您执行一个过滤器，该过滤器将删除分区中的所有元素或不删除任何元素，那么shuffle=false将产生不平衡的分区，但shuffle=true将解决此问题）
• 可以增加分区的数量

首选位置与它没有太大关系 - 您仅在随机播放 = false 模式下看到首选位置，因为位置在没有随机播放的情况下保留，但在随机播放后，原始的首选位置无关紧要（替换为有关随机播放目的地的新首选位置）。