当前位置: 首页 > 知识库问答 >
问题:

map分区和map有什么不同?

何章横
2023-03-14

我知道什么是mapPartition转换和map。一些帖子声称mapPartition比map快。在什么情况下,我们使用mapPartition而不是map?mapPartition比map快吗?

共有1个答案

鲜于念
2023-03-14

方法映射通过应用函数将源RDD的每个元素转换为结果RDD的单个元素。mapPartitions将源RDD的每个分区转换为结果的多个元素(可能没有)。

这里已经回答了:Apache Spark: map vs map分区?

 类似资料: