如果我打算按键执行大量聚合，我应该选择RDD而不是数据集/数据帧吗？

Question

我有一个用例，我打算按键分组，同时在列上聚合。我正在使用Dataset，并试图通过使用groupBy和agg来实现这些操作。以下面的场景为例

case class Result(deptId:String,locations:Seq[String])
case class Department(deptId:String,location:String)

// using spark 2.0.2
// I have a Dataset `ds` of type Department   

+-------+--------------------+
|deptId |      location      |
+-------+--------------------+
|     d1|delhi               |            
|     d1|mumbai              |
|    dp2|calcutta            |
|    dp2|hyderabad           |       
+-------+--------------------+

我打算把它转换成

// Dataset `result` of type Result

+-------+--------------------+
|deptId |      locations     |
+-------+--------------------+
|     d1|[delhi,mumbai]      |            
|    dp2|[calcutta,hyderabad]|            
+-------+--------------------+

为此，我在stack上搜索并找到以下内容：

val flatten = udf(
  (xs: Seq[Seq[String]]) => xs.flatten)

val result = ds.groupBy("deptId").
                agg(flatten(collect_list("location")).as("locations")

以上对我来说似乎很整洁。

1. 但在搜索上述内容之前，我首先搜索了数据集是否像RDD一样具有内置的reduceByKey。但找不到，所以选择了上面的。但我读了这篇文章《grouByKey vs reduceByKey》，才知道reduceByKey的洗牌次数更少，效率更高。我问这个问题的第一个原因是什么，我应该在我的场景中选择RDD吗

PS：如果我使用了一些错误的术语，请原谅。

Answer 1

要回答您的一些问题：

>

在Spark的数据集与DataFrame中，静态类型检查和性能之间有一个重要的权衡-Spark 2.0数据集与DataFrame

链接帖子特别建议不要使用UserDefinedAggregateFunction（而不是UserDefinedFunction），因为过度复制数据-引发以ArrayType为缓冲模式的UDAF性能问题

您甚至不需要用户定义函数，因为在您的情况下不需要展平：

val df = Seq[Department]().toDF

df.groupBy("deptId").agg(collect_list("location").as("locations"))

这就是你应该追求的。

静态类型的等价物是

val ds = Seq[Department]().toDS

ds
  .groupByKey(_.deptId)
  .mapGroups { case (deptId, xs) => Result(deptId, xs.map(_.location).toSeq) }

比数据帧选项贵得多。