火花-从嵌套数组中的结构中选择列时出错

Question

============更新==========

我在我的JSON中添加了一些更多的细节(struct_c和array_d)以使它更清楚地知道我在哪里得到了异常。

===============================================

我有一个带有Struct类型嵌套数组的Spark DataFrame。我想从该结构中选择一个列，但收到错误消息：“org.apache.spark.sql.analysisexception：由于数据类型不匹配，无法解析'home.array_a.array_b['a']'：参数2需要整数类型，但是'a''是字符串类型”。

下面是我的数据：

{
  "home": {
    "a_number": 5,
    "a_string": "six",
    "array_a": [
      {
        "array_b": [{"a": "1", "b": 2}],
        "struct_c": {"a": 1.1, "b": 1.3},
        "array_d": ["a", "b", "c"]
      },
      {
        "array_b": [{"a": "3", "b": 4}],
        "struct_c": {"a": 1.5, "b": 1.6},
        "array_d": ["x", "y", "z"]
      }
    ]
  }
}

下面是我的数据架构：

mydf1 = spark.read.option("multiline", "true").json("myJson.json")
mydf1.printSchema()

root
 |-- home: struct (nullable = true)
 |    |-- a_number: long (nullable = true)
 |    |-- a_string: string (nullable = true)
 |    |-- array_a: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- array_b: array (nullable = true)
 |    |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |    |-- a: string (nullable = true)
 |    |    |    |    |    |-- b: long (nullable = true)
 |    |    |    |-- array_d: array (nullable = true)
 |    |    |    |    |-- element: string (containsNull = true)
 |    |    |    |-- struct_c: struct (nullable = true)
 |    |    |    |    |-- a: double (nullable = true)
 |    |    |    |    |-- b: double (nullable = true)

mydf1.select("home.array_a.array_d").show(10, False)

+----------------------+
|array_d               |
+----------------------+
|[[a, b, c], [x, y, z]]|
+----------------------+

mydf1.select(col("home.array_a.struct_c.a").alias("struct_field_inside_arrayA")).show(10, False)

+--------------------------+
|struct_field_inside_arrayA|
+--------------------------+
|[1.1, 1.5]                |
+--------------------------+

这就是它失败的地方：

mydf1.select("home.array_a.array_b.a").printSchema()
mydf1.select("home.array_a.array_b.a").show()

我所期望的是一个二维string数组([[“1”,“3”]]是我的示例JSON）

你能帮我解释一下它失败的原因吗？

Answer 1

既然您对element_at()函数没有任何问题，我假设您使用的是spark 2.4+，那么您可以尝试spark SQL内置函数:transform[1][2]+Flatten:

>>> mydf1.selectExpr('flatten(transform(home.array_a.array_b, x -> x.a)) as array_field_inside_array').show()
+------------------------+
|array_field_inside_array|
+------------------------+
|                  [1, 3]|
+------------------------+

其中我们使用transform（）函数只检索home.array_a.array_b的每个数组元素的字段a的值，并将它们转换为数组[[1],[3]]。然后将该数组扁平化为[1,3]。如果您需要结果为[[1,3]]，那么只需添加数组（）函数即可

array(flatten(transform(home.array_a.array_b, x -> x.a)))