Java Spark 广播并加入两个 RDD

Question

我有一个大表＜code＞JavaPairRDD

// I ignored the parsing part, just simplified it as loading from the files. 
JavaPairRDD<String, MySchema> RDD1 = sc.textFile ("path_to_small_dataset");
JavaPairRDD<String, Double> RDD2 = sc.textFile("path_to_large_dataset"); 

// Broadcast RDD2
Set<Tuple2<String, Double>> set2 = new HashSet<>();
set2.addAll(RDD2.collect());

// now I have set2 and RDD1, how can I join them? 

Answer 1

假设您有两个要加入的RDD，第一个RDD足够小，可以容纳每个工作线程的内存（smallRDD），第二个RDD根本不需要重新排序（largeRDD）。

在加入之前，您必须确保将大型RDD[T]转换为RDD[（key，T）]。键表示联接操作期间使用的列。

这段代码应该可以在Scala中实现(但基本原理在Java中是一样的)

val smallLookup = sc.broadcast(smallRDD.collect.toMap)
largeRDD.flatMap { case(key, value) =>
  smallLookup.value.get(key).map { otherValue =>
  (key, (value, otherValue))
 }
}

我希望它有所帮助