Spark在包含地图的数据集中按聚合分组

Question

我有一个java POJO

class MyObj{
  String id;
  Map<KeyObj, ValueObj> mapValues;
  //getters and //setters(omitted)
}

我有一个火花

Dataset<MyObj> myDs = .....

我的数据集有一个值列表，但有重复的Ids。如何组合重复的帐户Ids并使用Spark group pBy将Key值对聚合到一个Map中。谢谢你的帮助。

所以我有：

ID.     Map
----------------------------------
1000   [(w -> wer), (D -> dfr)]
1000   [(g -> gde)]
1001   [(k -> khg), (v -> vsa)]

我需要这个：

ID.   Map
----------------------------------
1000   [(w -> wer), (D -> dfr), (g -> gde)]
1001   [(k -> khg), (v -> vsa)]

Answer 1

可以分解原始贴图，使每个贴图的每个条目都是自己的一行。然后，您可以在id列上分组，并从_数组中使用map_还原地图：

myDs.select(col("id"),explode(col("mapValues"))) //1
   .groupBy("id")
   .agg(collect_list("key").as("keys"), collect_list("value").as("values")) //2
   .withColumn("map", map_from_arrays(col("keys"), col("values"))) //3
   .drop("keys", "values") //4
   .show(false);

1. 将地图分解成单行。新的列名将是key和value
2. 当按id分组时，将所有键和值收集到数组中，导致每个id
有一个带键的数组和一个带值的数组
3. 使用map_from_arrays将键和值数组转换回单个映射
4. 删除中间列

结果是

+----+------------------------------+
|id  |map                           |
+----+------------------------------+
|1000|[D -> dfr, w -> wer, g -> gde]|
|1001|[v -> vsa, k -> khg]          |
+----+------------------------------+