Spark数据帧-将结构列拆分为2列

Question

我有一个包含（我认为是）（String， String）对的数据帧。

它看起来像这样：

> df.show
| Col1 | Col2    |
| A    | [k1, v1]|
| A    | [k2, v2]|

> df.printSchema
|-- _1: string (nullable = true)
|-- _2: struct (nullable = true)
|    |-- _1: string (nullable = true)
|    |-- _2: string (nullable = true)

< code>Col2曾经包含一个< code>Map[String，String]，我在上面做了一个< code>toList()，然后做了< code>explode()以获得原始Map中每个映射的一行。

我想将< code>Col2分成2列，并获得以下数据帧:

| Col1 | key    | value |
| A    | k1     | v1    |
| A    | k2     | v2    |

有谁知道如何做到这一点？

或者，有人知道如何将一个映射分解成多行(每个映射一行)和两列(一个键，一个值)。

我尝试使用通常成功的模式（String， String）但这不起作用：

df.select("Col1", "Col2").
   map(r =>(r(0).asInstanceOf[String],
            r(1).asInstanceOf[(String, String)](0),
            r(1).asInstanceOf[(String, String)](1)
           )
       )

Caused by: java.lang.ClassCastException:
org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2

==

即使这有效，也会出现一个问题，即使用索引不是访问元组元素的正确方法......

谢谢！

Answer 1

您可以添加另一个方法来实现这一点:

df.withColumn("key", $"Col2._1")
  .withColumn("value", $"Col2._2")

Answer 2

您可以使用select来投影struct的每个元素以解包它。

df.select($"Col1", $"Col2._1".as("key"), $"Col2._2".as("value"))