如何在 Spark 中读取包含嵌套字段的值？[重复]

Question

我拥有的数据集充满了嵌套字段。例如，data.take（1） 的输出给出了 9 列，其中第 4 列 （c4） 有 3 个子字段，c4 的第 1 列有 3 个子字段，依此类推。

格式看起来有点像这样

[A,B,C,[[d1,d2,d3],D2,D3],E,[F1,[f1,[f21,f22,f23],f3,f4],F3,F4],G,H,I]

我想要一个数组数据结构的数组（然后可以展开为单个数组）。

只是为了让数据看起来更清晰：

A
B
C
D
  -D1
    -d1
    -d2
    -d3
  -D2
  -D3
E
F
  -F1
  -F2
    -f1
    -f2
      -f21
      -f22
      -f23
    -f3
    -f4
  -F3
  -F4
G
H
I

当然，我可以编写一个解析程序，递归地搜索给定记录的子字段，并生成这种树结构（作为数组数组）。然而，我希望在Spark中有一个更简单、更高效的预构建例程，以直接的方式处理这个问题。

Spark-Scala或PySpark中的任何答案都将受到欢迎。

Answer 1

如果您已经使用spark将数据帧/数据集加载到内存中，有两种方法可以帮助您。尝试< code>df.printSchema()和< code>df.schema，其中< code>df是引用数据集的变量。第一个将在屏幕上打印带有数据类型的模式，第二个将返回可由您的代码遍历的< code>StructType对象。

更新:

所以现在你要方便地选择嵌套字段。

假设您有以下代码：

import org.apache.spark.sql.SparkSession

object Question51360175 extends App{
    val session = SparkSession.builder()
      .appName("spark-app").master("local[*]").getOrCreate()

    import session.implicits._

    case class TopLevel(someField: String, nestedLevel: NestedLevel)
    case class NestedLevel(key: Int, value: String)



    val df = Seq(
      TopLevel("first", NestedLevel(1, "Onnu")),
      TopLevel("second", NestedLevel(2, "Rendu"))
    ).toDF

    df.printSchema()

  df.show()
}

这将给你这种输出

root
 |-- someField: string (nullable = true)
 |-- nestedLevel: struct (nullable = true)
 |    |-- key: integer (nullable = false)
 |    |-- value: string (nullable = true)

+---------+-----------+
|someField|nestedLevel|
+---------+-----------+
|    first|  [1, Onnu]|
|   second| [2, Rendu]|
+---------+-----------+

现在，如果你想得到嵌套列，例如，你只想要嵌套类中的value列NestedLevel，你可以只编写df.select（"nestedLevel.value"）. show（），它会返回你

+-----+
|value|
+-----+
| Onnu|
|Rendu|
+-----+