读取嵌套json pyspark时获得“模棱两可的引用”异常

Question

我有以下嵌套模式：

root
|-- fields: struct (nullable = true)
|    |-- configdata: struct (containsNull = true)
|    |    |-- field: string (nullable = true)
|    |    |-- type: string (nullable = true)
|    |    |-- value: string (nullable = true)
|    |-- configdata:struct (containsNull = true)
|    |    |-- field1: string (nullable = true)
|    |    |-- type1: string (nullable = true)
|    |    |-- value1: string (nullable = true)
|-- id: string (nullable = true)
|-- score: double (nullable = true)
|-- siteId: string (nullable = true)

我必须从这个json中读取configdata:property。但当我尝试这样做时：

newDf= dataframe.select(sf.array(sf.expr("configdata"))

它失败了，但有一个例外：

对字段的模糊引用结构字段（配置数据）

如您所见，configData是struct类型的，我必须从这个json中读取这两个配置数据。使用spark dataFrame API在Pyspark中开发的代码。有人能帮忙吗？

Answer 1

有2个结构明显没有数组情况。这是模棱两可的，因为它们在同一级别。不可能。为第二个结构命名：“confidata1”，在源代码中。