在Spark中将groupByKey替换为reduceByKey

Question

你好，我经常需要在代码中使用groupbykey，但我知道这是一个非常繁重的操作。由于我正在努力提高性能，我想知道删除所有GroupByKey调用的方法是否有效。

我使用的是out=rdd1.groupbykey，但是由于这种方法对于大型数据集可能会有很大的问题，所以我想使用这个解决方案：

我所做的不是创建类型对（Int,Int）的RDDrdd1，而是创建类型对（Int,list[Int])，所以我的rdd1如下所示

rdd1=[(1,[2]),(1,[3]),(2,[3]),(2,[4]),(3,[5])]

你认为有没有更快的方法来达到同样的结果，使用一些其他的方法？谢谢你。

Answer 1

由于我正在努力提高性能，我想知道删除所有groupByKey调用的方法是否有效。

请查看RDD.todebugstring以查看RDD转换的逻辑计划。这应该会让你很好地了解你的动作会有多快（或不快）。

避免shuffledrdd，因为它们会导致通常非常昂贵的洗牌操作。

rdd.keyBy(_.kind).reduceByKey(....)

阅读org.apache.spark.rdd.pairrddfunctions。

使用web UI可以更好地了解“查询”的性能。了解你的数据会有很大帮助。也要花足够的时间（否则优化查询的时间可能会浪费）。