Spark RDD-映射与映射分区

Question

我通读了地图和地图分区之间的理论差异，

但我下面描述的问题更多地基于GC活动

=

=

提前感谢。任何帮助都将不胜感激。

Answer 1

回答关于mapPartition的问题（f:迭代器）=

需要提到的一件事是，您可以强制您的函数将数据具体化为mem，只需执行以下操作：

rdd.mapPartition(
  partitionIter => {
    partitionIter.map(do your logic).toList.toIterator
  }
)

toList将迫使Spark将整个分区的数据具体化为mem，因此要注意这一点，因为像toList这样的操作将打破功能链的惰性。

Answer 2

如果你考虑JavaRDD. map分区，它需要FlatMap函数（或者像DoubleFlatMap函数这样的变体），它需要返回Iterator而不是Iterable。如果基础集合是懒惰的，那么你就没什么好担心的了。

RDD. map分区从Iterator获取一个函数到Iterator。

I概述如果使用参考数据，可以用map替换mapPartitions，并使用静态成员存储数据。这将有相同的足迹，并将更容易编写。