apache Spark--哪一个遇到的内存瓶颈更少--reduceByKey还是ReduceByKeyLocaly？

Question

def reduceByKey(partitioner: Partitioner, func: (V, V) ⇒ V): RDD[(K, V)]

def reduceByKeyLocally(func: (V, V) ⇒ V): Map[K, V]

它使用关联reduce函数合并每个键的值，但将结果作为映射立即返回给主程序。在将结果发送到reducer之前，这也将在每个映射器上执行本地合并，类似于MapReduce中的“合并器”。

除了ReduceByKeyLocal将结果作为映射返回给主程序之外，我看不出两者之间有多大区别。

Answer 1

差别是深刻的。

使用reducebykey，这些对表示为RDD，这意味着数据仍然分布在集群中。这是必要的，当你在规模经营。

使用reduceByKeyLocaly，所有分区都返回到主服务器，合并到该计算机上的一个映射中。与collect操作类似，该操作将所有内容作为数组返回到主服务器，如果您在大规模操作，所有这些数据将完全淹没单个机器，从而破坏使用分布式数据抽象的目的。