Spark Dataframe groupBy并将结果排序到列表中

Question

我有一个Spark数据框，我想按一个键对元素进行分组，并将结果作为一个排序列表

目前我正在使用：

df.groupBy（"专栏A"）. agg（collect_list（"专栏B"））

如何使列表中的项目按升序排序？

Answer 1

只是想在Daniel de Paula的回答中添加另一个关于sort_array解决方案的提示。

如果您想根据不同的列对元素进行排序，您可以形成两个字段的结构：

• 按字段排序
• 结果字段

由于结构是按字段排序的，所以您将获得所需的顺序，只需在结果列表的每个元素中去掉sort by列
在需要时，同样的方法也可以应用于多个按列排序。

下面是一个可以在本地spark shell模式下运行的示例（使用：粘贴模式）：

import org.apache.spark.sql.Row
import spark.implicits._

case class Employee(name: String, department: String, salary: Double)

val employees = Seq(
  Employee("JSMITH", "A", 20.0),
  Employee("AJOHNSON", "A", 650.0),
  Employee("CBAKER", "A", 650.2),
  Employee("TGREEN", "A", 13.0),
  Employee("CHORTON", "B", 111.0),
  Employee("AIVANOV", "B", 233.0),
  Employee("VSMIRNOV", "B", 11.0)
)

val employeesDF = spark.createDataFrame(employees)

val getNames = udf { salaryNames: Seq[Row] =>
  salaryNames.map { case Row(_: Double, name: String) => name }
}

employeesDF
  .groupBy($"department")
  .agg(collect_list(struct($"salary", $"name")).as("salaryNames"))
  .withColumn("namesSortedBySalary", getNames(sort_array($"salaryNames", asc = false)))
  .show(truncate = false)

结果是：

+----------+--------------------------------------------------------------------+----------------------------------+
|department|salaryNames                                                         |namesSortedBySalary               |
+----------+--------------------------------------------------------------------+----------------------------------+
|B         |[[111.0, CHORTON], [233.0, AIVANOV], [11.0, VSMIRNOV]]              |[AIVANOV, CHORTON, VSMIRNOV]      |
|A         |[[20.0, JSMITH], [650.0, AJOHNSON], [650.2, CBAKER], [13.0, TGREEN]]|[CBAKER, AJOHNSON, JSMITH, TGREEN]|
+----------+--------------------------------------------------------------------+----------------------------------+

Answer 2

您可以尝试functions软件包中提供的函数sort_array：

scala prettyprint-override">import org.apache.spark.sql.functions._
df.groupBy("columnA").agg(sort_array(collect_list("columnB")))