如何将var转换为List？

Question

如何将一个var转换为两个var列表？

下面是我的输入变量：

val input="[level:1,var1:name,var2:id][level:1,var1:name1,var2:id1][level:2,var1:add1,var2:city]"

我希望我的结果应该是：

  val first= List(List("name","name1"),List("add1"))
  val second= List(List("id","id1"),List("city"))

Answer 1

reduceByKey是实现所需输出的重要功能。关于逐步还原的更多解释bykey解释

您可以执行以下操作

val input="[level:1,var1:name1,var2:id1][level:1,var1:name2,var2:id2][level:2,var1:add1,var2:city]"
val groupedrdd = sc.parallelize(Seq(input)).flatMap(_.split("]\\[").map(x => {
  val values = x.replace("[", "").replace("]", "").split(",").map(y => y.split(":")(1))
  (values(0), (List(values(1)), List(values(2))))
})).reduceByKey((x, y) => (x._1 ::: y._1, x._2 ::: y._2))


val first = groupedrdd.map(x => x._2._1).collect().toList
//first: List[List[String]] = List(List(add1), List(name1, name2))
val second = groupedrdd.map(x => x._2._2).collect().toList
//second: List[List[String]] = List(List(city), List(id1, id2))

Answer 2

首先，输入不是有效的json

val input="[level:1,var1:name,var2:id][level:1,var1:name1,var2:id1][level:2,var1:add1,var2:city]"

您必须使其成为有效的json RDD（因为您将使用apache spark）

val validJsonRdd = sc.parallelize(Seq(input)).flatMap(x => x.replace(",", "\",\"").replace(":", "\":\"").replace("[", "{\"").replace("]", "\"}").replace("}{", "}&{").split("&"))

一旦有了有效的json rdd，就可以轻松地将其转换为数据帧，然后应用已有的逻辑

import org.apache.spark.sql.functions._
val df = spark.read.json(validJsonRdd)
  .groupBy("level")
  .agg(collect_list("var1").as("var1"), collect_list("var2").as("var2"))
  .select(collect_list("var1").as("var1"), collect_list("var2").as("var2"))

您应该在数据帧中获得所需的输出

+------------------------------------------------+--------------------------------------------+
|var1                                            |var2                                        |
+------------------------------------------------+--------------------------------------------+
|[WrappedArray(name1, name2), WrappedArray(add1)]|[WrappedArray(id1, id2), WrappedArray(city)]|
+------------------------------------------------+--------------------------------------------+

如果需要，您可以将数组转换为列表

要获取问题中的值，您可以执行以下操作

val rdd = df.collect().map(row => (row(0).asInstanceOf[Seq[Seq[String]]], row(1).asInstanceOf[Seq[Seq[String]]]))

val first = rdd(0)._1.map(x => x.toList).toList
//first: List[List[String]] = List(List(name1, name2), List(add1))

val second = rdd(0)._2.map(x => x.toList).toList
//second: List[List[String]] = List(List(id1, id2), List(city))

我希望答案有帮助