阅读和学习Spark API？

Question

val input = sc.textFile("README.md")
val words = input.flatMap(x => x.split(" "))
val result = words.map(x => (x, 1)).reduceByKey((x, y) => x + y)

def reduceByKey(func: (V, V) ⇒ V): RDD[(K, V)]

我想我问这个问题，因此使用问题主题是因为我仍然不知道如何正确阅读API，或者我只是错过了一些甚至是基本的火花概念？！

Answer 1

通常数据集的形式是（“key1”，val11)、（“key2”，val21)、（“key1”，val12)、（“key2”，val22)……等等

在RDD[(K,V)]中将有一个具有多个值的相同键

当您使用reduceByKey时。对于键中的每个值，将应用函数。

 val data = Array(("key1",2),("key1",20),("key2",21),("key1",2),("key2",10),("key2",33))

 val rdd = sc.parallelize(data)
 val res = rdd.reduceByKey((x,y) => x+y)
 res.foreach(println)

 (key2,64)
 (key1,24)

在这里，值序列被传递给函数。对于KEY1->(2，20，2)

最后，每个键都有一个值。

您可以使用spark shell来尝试API。