在火花scalaGroupByKey（$"coll"）和GroupBy（$"coll"）之间的区别

Question

当我使用DF的列名作为参数时，与使用. GroupByKey和. GroupBy有什么根本区别？

哪一个是省时的，每一个的确切含义是什么？当我通过一些例子时，请有人详细解释一下，但这是令人困惑的。

Answer 1

没有groupByKey方法将列作为参数。也有采用函数的方法：

def groupByKey[K](func: MapFunction[T, K], encoder: Encoder[K]): KeyValueGroupedDataset[K, T] 

或

def groupByKey[K](func: (T) ⇒ K)(implicit arg0: Encoder[K]): KeyValueGroupedDataset[K, T] 

与采用列的groupBy相比：

def groupBy(cols: Column*): RelationalGroupedDataset 

或字符串

def groupBy(col1: String, cols: String*): RelationalGroupedDataset 

区别应该很明显——前两个方法返回的是KeyValueGroupedDataset（用于使用“functional”、“强类型API，如映射组（mapGroups）或约简组（ReduceGroup））进行处理），而后两个方法返回的是RelationalGroupedDataset（用于使用类似SQL的API进行处理）。

一般见：

• 数据集API和数据帧API之间的差异
• Spark 2.0数据集与数据帧
• 数据帧（在Spark 2.0中，即数据集[行]）和Spark中RDD之间的差异