JSON对象列到多列的Pyspark拆分数组

Question

我有一个pyspark dataframe，其中一列的格式如下：

[{key1:value1},{key2:value2},{key3:value3},{key4:value4}]

让我们把它说成下面的专栏：

我希望将其转换为dataframe的列，其中列名为keyX，其内容为valueX，其中x=[1,4]，如下所示：

我试过一些解决办法，但都不起作用。请求你分享任何想法或解决方案，如果你有。提前谢谢你。

Answer 1

这是一个格式非常糟糕的JSON，没有任何引号，但您仍然可以通过强力解析它：

import pyspark.sql.functions as F

df2 = df.selectExpr("""
    explode(
        transform(
            split(ColumnY, ','), 
            x -> str_to_map(regexp_replace(x, '[\\\\[\\\\{ \\\\]\\\\}]', ''), ' ', ':')
        )
    ) as col
""").select(F.explode('col')).groupBy().pivot('key').agg(F.first('value'))

df2.show()
+------+------+------+------+
|  key1|  key2|  key3|  key4|
+------+------+------+------+
|value1|value2|value3|value4|
+------+------+------+------+