Apache Spark中的join和cogroup有什么区别

Question

Apache Spark中的join和cogroup有什么区别？每个方法的用例是什么？

Answer 1

让我来帮你澄清一下，这两个都是常用的和重要的！

def join[W](other: RDD[(K, W)]): RDD[(K, (V, W))]

这是join的prototype，请仔细看一下。例如,

val rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2)
val rdd2 = sc.makeRDD(Array(("A","a"),("C","c"),("D","d")),2)
 
scala> rdd1.join(rdd2).collect
res0: Array[(String, (String, String))] = Array((A,(1,a)), (C,(3,c)))

将出现在最终结果中的所有键都是rdd1和RDD2所共有的。这类似于关系数据库操作INNER join。

def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]

val rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2)
val rdd2 = sc.makeRDD(Array(("A","a"),("C","c"),("D","d")),2)

scala> var rdd3 = rdd1.cogroup(rdd2).collect
res0: Array[(String, (Iterable[String], Iterable[String]))] = Array(
(B,(CompactBuffer(2),CompactBuffer())), 
(D,(CompactBuffer(),CompactBuffer(d))), 
(A,(CompactBuffer(1),CompactBuffer(a))), 
(C,(CompactBuffer(3),CompactBuffer(c)))
)

这是非常类似的关系数据库操作完全外部连接，但不是每一行每条记录的结果扁平化，它将给你可迭代接口给你，下面的操作就由你来方便了！

祝你好运！

Spark docs是:http://Spark.apache.org/docs/latest/api/scala/index.html#org.apache.Spark.rdd.pairrddfunctions