Spark中分组对RDD的最优划分数

Question

我有两对结构为rdd[String,Int]的RDD，称为rdd1和rdd2。

val lvl1rdd=rdd1.groupByKey()
val lvl2rdd=rdd2.groupByKey()
val lvl1_lvl2=lvl1rdd.join(lvl2rdd)
val finalrdd=lvl1_lvl2.mapValues(value => function(value))

如果我加入前面的RDD，并在结果RDD（mapValues）的值上执行一个函数，那么所有的工作都将在一个worker中完成，而不是在集群的不同worker节点上分配不同的任务。我的意思是，期望的行为应该是在集群允许的这么多节点中并行执行作为参数传递给mapValues方法的函数。

Answer 1

1）避免使用groupByKey操作，因为它们是网络I/O和执行性能的瓶颈，在这种情况下使用reduceByKey操作，因为数据洗牌比groupByKey要少，如果是一个较大的数据集，我们可以更好地看到差异。

val lvl1rdd = rdd1.reduceByKey(x => function(x)) 
val lvl1rdd = rdd2.reduceByKey(x => function(x))
//perform the Join Operation on these resultant RDD's

在RDD上单独应用函数并将它们连接起来，远比使用groupByKey（）连接RDD并应用函数要好得多

这也将确保任务分布在不同的执行器之间并并行执行

partition = key.hashCode() % numPartitions

这将创建固定数量的分区，当您使用groupByKey操作时，它可以超过intial数量。我们还可以自定义要创建的分区。例如

val result_rdd = rdd1.partitionBy(new HashPartitioner(2))

这将创建2个分区，通过这种方式，我们可以设置分区的数量。要决定最佳分区数，请参阅以下答案https://stackoverflow.com/a/40866286/7449292