如何在不传递 pyspark json 中的父属性的情况下访问嵌套属性

Question

我试图使用pyspark访问以下json的内部属性

[
 {
    "432": [
        {
            "atttr1": null,
            "atttr2": "7DG6",
            "id":432,
            "score": 100
        }
    ]
},
 {
    "238": [
        {
            "atttr1": null,
            "atttr2": "7SS8",
            "id":432,
            "score": 100
        }
    ]
}
]

在输出中，我正在寻找以下形式的csv atttr1、atttr2、id、分数null、“7DG6”、432,100 null、“7SS8”、238,100

我知道我可以像下面这样得到这些细节，但我不想在lambda表达式中传递432或238，因为在bigger json中这(斜体)会有所不同。我想迭代所有可用的值。

print(inputDF.rdd.map(lambda x:(x['*432*'])).first())
print(inputDF.rdd.map(lambda x:(x['*238*'])).first())

我还尝试注册一个名为“test”的临时表，但它给出了一个错误，并显示消息element._id不存在。

inputDF.registerTempTable("test")
srdd2 = spark.sql("select element._id from test limit 1")

任何帮助将不胜感激。我正在使用火花 2.4

Answer 1

在不使用 pyspark 功能的情况下，您可以像这样操作：

data = json.loads(json_str)  # or whatever way you're getting the data

columns = 'atttr1 atttr2 id score'.split()
print(','.join(columns))  # headers

for item in data:
    for obj in list(item.values())[0]:  # since each list has only one object
        print(','.join(str(obj[col]) for col in columns))

输出:

atttr1,atttr2,id,score
None,7DG6,432,100
None,7SS8,432,100

或

for item in data:
    obj = list(item.values())[0][0]  # since the object is the one and only item in list
    print(','.join(str(obj[col]) for col in columns))

仅供参考，您可以将它们存储在变量中或将其写出 csv 而不是/并打印它。

如果你只是想把它转储到csv，看看这个答案。