在Apache Spark（Scala）中使用reduceByKey

Question

val x = sc.parallelize(List(
    ("a", "b", 1),
    ("a", "b", 1),
    ("c", "b", 1),
    ("a", "d", 1))
)

(a,ArrayBuffer((d,1), (b,2)))
(c,ArrayBuffer((b,1)))

val byKey = x.map({case (id,uri,count) => (id,uri)->count})

val grouped = byKey.groupByKey
val count = grouped.map{case ((id,uri),count) => ((id),(uri,count.sum))}
val grouped2: org.apache.spark.rdd.RDD[(String, Seq[(String, Int)])] = count.groupByKey

grouped2.foreach(println)

如何实现reduceByKey而不是上面的代码来提供相同的映射？

Answer 1

遵循您的代码：

val byKey = x.map({case (id,uri,count) => (id,uri)->count})

你可以做：

val reducedByKey = byKey.reduceByKey(_ + _)

scala> reducedByKey.collect.foreach(println)
((a,d),1)
((a,b),2)
((c,b),1)

pairrddfunctions[K,V].reduceByKey接受一个关联reduce函数，该函数可应用于rdd[(K,V)]的to类型V。换句话说，您需要一个函数f[V](E1:V,E2:V):V。在这个特殊的例子中，int上的和:(x:int,y:int)=>x+y或_+_用下划线表示。