共同分区RDD的联接是否会导致Apache Spark中的洗牌？

Question

如果rdd1和rdd2具有相同的分区符， join？<>

Answer 1

否。如果两个RDD具有相同的分区器，则连接将不会导致混洗。您可以在CoGroupedRDD.scala中看到这一点：

override def getDependencies: Seq[Dependency[_]] = {
  rdds.map { rdd: RDD[_ <: Product2[K, _]] =>
    if (rdd.partitioner == Some(part)) {
      logDebug("Adding one-to-one dependency with " + rdd)
      new OneToOneDependency(rdd)
    } else {
      logDebug("Adding shuffle dependency with " + rdd)
      new ShuffleDependency[K, Any, CoGroupCombiner](rdd, part, serializer)
    }
  }
}

然而，请注意，没有混洗并不意味着节点之间不需要移动数据。两个RDD可能具有相同的分区器（被共同分区），但相应的分区位于不同的节点上（不被共同定位）。

这种情况仍然比洗牌好，但这是需要记住的。同一地点可以提高性能，但很难保证。