在Apache Spark中对齐分区中Java元素数量

Question

我有两个JavaRDD

1. RDD 必须拆分到相同数量的分区上
2. 每个分区必须具有相同数量的元素

此外，根据 Spark 文档，我正在使用 RDD 上保留排序的方法，以便最终关联是正确的（尽管这不会引发任何异常）。现在，问题是即使我能够保持分区数量一致，例如代码

JavaRDD<Double> rdd1Repatitioned = rdd1.repartition(rdd2.getNumPartitions());

我不知道怎么做(以及什么给了我异常)的是控制每个分区中条目的数量。我找到了一个暂时有效的解决方法，那就是重新初始化我想要关联的两个rdd

    List<Double> rdd1Array = rdd1.collect();
    List<Double> rdd2Array = rdd2.collect();

    JavaRDD<Double> newRdd1 = sc.parallelize(rdd1Array);
    JavaRDD<Double> newRdd2 = sc.parallelize(rdd2Array);

但我不确定这能保证我关于一致性的任何信息。其次，在某些情况下，计算成本可能非常昂贵。有没有办法控制每个分区中的元素数量，或者一般来说在两个或多个RDD中重新对齐分区（我或多或少知道分区系统是如何工作的，我知道从分布的角度来看这可能很复杂）？




Answer 1

好吧，这对我很有效:

Statistics.corr(rdd1.repartition(8), rdd2.repartition(8))