Spark Dataframe：在structType值中表示具有非同构数据类型的MapType架构

Question

我正在尝试创建一个传递给from_jsonAPI的structType模式，以便解析存储为JSON字符串的列。JSON数据包含一个Map，其中包含String键和struct类型的值，但每个struct的模式取决于键。

考虑这个JSON示例，其中“数据”列是一个具有值name和地址的Map，并且每个值的架构都不同：

{
  "data": {
    "name": {
      "first": "john"
    },
    "address": {
      "street": "wall",
      "zip": 10000
    }
  }
}

对于键“名称”，结构值有一个成员字段“first”。对于键“地址”，结构值有两个成员字段“Street”和“zip”。

“数据”列可以在Spark数据框中表示为MapType[StringType， structType]吗？

1. Spark是否处理结构非同构的Map[String， struct]？
2. 如果是，请分享一个代表带有模式MapType的数据框的structType模式示例

编辑:要添加此类数据的另一个示例，该示例具有一个Map[String，Struct],其中该结构在整个Map值中不属于同一模式，请考虑以下情况:

case class Address(street: String, zip: Int)
case class Name(first: String)
case class Employee(id: String, role: String)
val map = Map(
  "address" -> Address("wall", 10000),
  "name" -> Name("john"),
  "occupation" -> Employee("12345", "Software Engineer")
)

如您所见，映射的值在其模式中有所不同——地址、名称和雇员都是不同的case类，它们的成员字段也不同。

您可以想象这种数据来自JSON文件，在该文件中，映射可以跨键具有任意类型的值，并且对所有相同类型的值没有限制。在我的例子中，我的值都是结构，但每个结构的模式依赖于映射键。




Answer 1

您可以读取JSON列并动态解析模式：

scala prettyprint-override">import org.apache.spark.sql.functions.{col, from_json}
import spark.implicits._


val df = sc.parallelize(Seq(
  ("""{"data":{"name":{"first":"john"},"address":{"street":"wall","zip":10000},"occupation":{"id":"12345","role":"Software Engineer"}}}"""),
  ("""{"data":{"name":{"first":"john"},"address":{"street":"wall","zip":10000}}}"""),
)).toDF("my_json_column")

val rows = df.select("my_json_column").as[String]
val schema = spark.read.json(rows).schema

// Transforming your String to Struct
val newDF = df.withColumn("obj", from_json(col("my_json_column"), schema))

newDF.printSchema
// root
//  |-- my_json_column: string (nullable = true)
//  |-- obj: struct (nullable = true)
//  |    |-- data: struct (nullable = true)
//  |    |    |-- address: struct (nullable = true)
//  |    |    |    |-- street: string (nullable = true)
//  |    |    |    |-- zip: long (nullable = true)
//  |    |    |-- name: struct (nullable = true)
//  |    |    |    |-- first: string (nullable = true)
//  |    |    |-- occupation: struct (nullable = true)
//  |    |    |    |-- id: string (nullable = true)
//  |    |    |    |-- role: string (nullable = true)

newDF.select("obj.data", "obj.data.occupation.id").show(false)

输出

+---------------------------------------------------+-----+
|data                                               |id   |
+---------------------------------------------------+-----+
|{{wall, 10000}, {john}, {12345, Software Engineer}}|12345|
|{{wall, 10000}, {john}, null}                      |null |
+---------------------------------------------------+-----+