map（）和flatMap（）的输出-有什么区别[重复]

Question

我对spark（和编程）很陌生，所以如果你能帮助我理解这两个输出之间的区别，那就太好了。

map()
>>> data = ['1', '2', '3', '4', '5', 'one', 'two']
>>> distData = sc.parallelize(data)
>>> maping = distData.map(lambda x: x.split())
>>> maping.collect()
[['1'], ['2'], ['3'], ['4'], ['5'], ['one'], ['two']]                           
>>> for i in maping.take(100): print(i)
... 
['1']
['2']
['3']
['4']
['5']
['one']
['two']

FlatMap()

>>> maping = distData.flatMap(lambda x: x.split())
>>> maping.collect()
['1', '2', '3', '4', '5', 'one', 'two']
>>> for i in maping.take(100): print(i)
... 
1
2
3
4
5
one
two

Answer 1

map函数是一对多转换，而flatmap函数是一对零或多转换。

根据文件,

map（func）：返回一个新的分布式数据集，该数据集通过一个函数func传递源的每个元素而形成。

flatMap（func）：与map类似，但每个输入项都可以映射到0个或更多的输出项（因此func应该返回一个Seq而不是单个项）。

您可以说，对于每个输入值，flatmap输出一个sequence，该sequence可以有0个或多个元素，这些元素被平坦化以形成输出RDD。

请参考这个SO问题，它演示了一个很好的用例。