如何映射在火花/scala中保存映射的数据集

Question

我在spark中有一个数据集，只有一列，这列是一个Map[String，Any]。我想逐行映射数据集，然后逐键映射映射映射列，计算每个键的值，并使用新数据生成与前一个相同类型的新数据集。

例如：

case class Data(column: Map[String, Any])
val ds: Dataset[Data] = Seq(Data(Map(("name","Andy"),("address","Street Name 1"))),Data(Map(("name","John"),("city","NYC")))).toDS()

我想在每个值的末尾加上“”，结果将是一个数据类型的数据集，如下所示：

name -> Andy +, address -> Street Name 1 +
name -> John +, city -> NYC +

谢谢Nir

Answer 1

val result =
  ds.map(data =>
    Data(data.column.map { case (key, value) => (key -> s"$value +") }
  )

或

val result = 
  ds.map(
    data => data.copy(column = data.column.map { case (key, value) => (key -> s"$value +") }
  )