我应该在两个不同的RDD上重用HashPartitioner吗？

Question

在所有示例中，我总是看到分区通过接收Hash分区器的新实例

val rddTenP = rdd.partitionBy（new HashPartitioner（10））

我加入了两个RDD。它们的键列具有来自同一集合的值userId。为了更有效地连接，我应该对两者进行分区吗？如果是，我应该创建一个HashPartitioner实例hp吗

val hp： Hash的分区=新火花。Hash的分区（84）并传递hp到两个分区方法，以便有要连接的行落到同一个节点？这是分区的工作方式吗？

Answer 1

使用相同的分区器优化连接（通过避免混洗）是正确的做法。您可以使用相同的hash partitioner实例，因为它是不可变的。但是，如果您使用2个具有相同分区数参数的哈希分区器实例（大致上，partitionIndex=key.hasCode mod numOfPartitions），这也会起作用，因为它们相等：

 override def equals(other: Any): Boolean = other match {
    case h: HashPartitioner =>
      h.numPartitions == numPartitions
    case _ =>
      false
  }

有关其工作原理的详细信息和详细说明，请参见：https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/Partitioner.scalaHashPartitioner是如何工作的？