flatMap（）函数返回rdd[Char]而不是rdd[String]

Question

我试图理解map和flatMap是如何工作的，但是在下面的代码中被卡住了。flatMap（）函数返回一个RDD[Char]，但我希望返回的是RDD[String]。有人能解释为什么它会产生RDD[Char]吗？

scala> val inputRDD = sc.parallelize(Array(Array("This is Spark"), Array("It is a processing language"),Array("Very fast"),Array("Memory operations")))

scala> val mapRDD = inputRDD.map(x => x(0))
mapRDD: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[28] at map at <console>:26

scala> mapRDD.collect
res27: Array[String] = Array(This is Spark, It is a processing language, Very fast, Memory operations)

scala> val mapRDD = inputRDD.flatMap(x => x(0))
mapRDD: org.apache.spark.rdd.RDD[Char] = MapPartitionsRDD[29] at flatMap at <console>:26

scala> mapRDD.collect
res28: Array[Char] = Array(T, h, i, s,  , i, s,  , S, p, a, r, k, I, t,  , i, s,  , a,  , p, r, o, c, e, s, s, i, n, g,  , l, a, n, g, u, a, g, e, V, e, r, y,  , f, a, s, t, M, e, m, o, r, y,  , o, p, e, r, a, t, i, o, n, s)

Answer 1

看看这个答案:https://stackoverflow.com/a/22510434/1547734

基本上，flatmap将N个元素的RDD转换为（逻辑上）N个集合的RDD，然后将其扁平化为内部集合的所有元素的RDD。

因此，当您执行inputrdd.flatMap(x=>x(0))时，您将每个元素转换为一个字符串。字符串是字符的集合，因此“扁平化”部分将把整个RDD转换为结果字符的RDD。

由于RDD是基于scala集合的，下面的http://www.brunton-spall.co.uk/post/2011/12/02/map-map-and-flatmap-in-scala/可能有助于更多地理解它。