在Apache Spark中mapPartitions和ForeachPartition之间的区别是什么

Question

我有一个数据框，其中一列是逗号分隔的数据。

例如：数据如下所示：[{value:1}，{value:2，value:3}，{some value}，{somevalue，othervalue}]

列是字符串数据类型。我想将其转换为列表并应用一些函数。现在我有一个函数来完成字符串列到列表的转换

但是哪个功能更好呢

Answer 1

区别就像地图和Foreach之间的区别一样。在这里寻找好的解释——Foreach和map之间有区别吗？。

mapPartitions和foreachPartitions是应用于数据帧的每个分区而不是每个元素的转换/操作。请参见此处，以获取对比map和mapPartitions的解释-Apache Spark:map vs mapPartitions？。

根据你的描述，听起来你要么想要地图，要么想要foreach。