map和flatMap之间的区别是什么？

Question

有人能给我解释一下map和flatMap之间的区别，以及什么是各自的好用例吗？

“结果扁平化”是什么意思？它有什么好处？

Answer 1

下面是一个差异示例，作为spark-shell会话：

首先，一些数据--两行文字：

val rdd = sc.parallelize(Seq("Roses are red", "Violets are blue"))  // lines

rdd.collect

    res0: Array[String] = Array("Roses are red", "Violets are blue")

现在，map将一个长度为N的RDD转换为另一个长度为N的RDD。

rdd.map(_.length).collect

    res1: Array[Int] = Array(13, 16)

rdd.flatMap(_.split(" ")).collect

    res2: Array[String] = Array("Roses", "are", "red", "Violets", "are", "blue")

为了说明这一点，从行集合到词集合的flatMapping类似于：

["aa bb cc", "", "dd"] => [["aa","bb","cc"],[],["dd"]] => ["aa","bb","cc","dd"]

因此，flatmap的输入和输出RDD通常具有不同的大小。

如果我们尝试将map与split函数一起使用，那么我们最终会得到嵌套结构（单词数组的RDD，类型为RDD[array[String]])，因为每个输入都必须有一个结果：

rdd.map(_.split(" ")).collect

    res3: Array[Array[String]] = Array(
                                     Array(Roses, are, red), 
                                     Array(Violets, are, blue)
                                 )

最后，一个有用的特殊情况是使用函数进行映射，该函数可能不返回答案，因此返回选项。我们可以使用flatmap过滤出返回none的元素，并从返回some的元素中提取值：

val rdd = sc.parallelize(Seq(1,2,3,4))

def myfn(x: Int): Option[Int] = if (x <= 2) Some(x * 10) else None

rdd.flatMap(myfn).collect

    res3: Array[Int] = Array(10,20)

（这里注意到一个选项的行为就像一个列表，要么只有一个元素，要么只有零个元素）