如何在Apache火花爆炸JSON数组[重复]

Question

给定一个spark 2.3数据帧，其中一列包含JSON数组，如何将其转换为JSON字符串的spark数组？或者，等效地，我如何分解JSON，以便输入：

myJsonColumn
"""[{"a":1},{"b":2}]"""
"""[{"c":3},{"d":4}]"""
"""[{"e":3},{"f":4},{"g":{"h":1}}]"""

我得到：

myExplodedJson
"""{"a":1}"""
"""{"b":2}"""
"""{"c":3}"""
"""{"d":4}"""
"""{"e":3}"""
"""{"f":4}"""
"""{"g":{"h":1}}"""

非常感谢！

p、 数组中条目的形状是可变的。

下面是一个示例输入，如果它是有用的：

List("""[{"a":1},{"b":2}]""", """[{"c":3},{"d":4}]""", """[{"e":3},{"f":4},{"g":{"h":1}}]""").toDF.show

p. p. s.这不同于迄今为止所有建议的重复问题。例如，如何使用火花数据帧查询JSON数据列？的问题和解决方案适用于（1）数据是所有JSON数据，因此整个数据帧可以作为JSON读取。这不适用于这个问题，例如，数据可以是包含JSON字符串的单个列的CSV。这也不同于查询是特定键的查找的情况，这确实包括在get_json_object中。它也不同于数组中元素数量有界的情况，因此只需查找前100个数组索引，然后丢弃空值可能是可以接受的，但即使如此，这也仅适用于原始JSON数组中没有空值的情况。

p. p. s.需要的是类似postgres中的json_array_elements。我的支持是编写一个UDF，它接受JSON字符串并返回一个火花数组，但是UDF往往比内置的慢，而且爆炸JSON可能是核心火花功能。为什么要重新发明基础呢？

Answer 1

您可以将分解与数组功能结合使用。

在Spark 2.3.1中，您可以-

val df = List("""[{"a":1},{"b":2}]""", """[{"c":3},{"d":4}]""", """[{"e":3},{"f":4},{"g":{"h":1}}]""").toDF

df.withColumn("value", explode(array(
  get_json_object($"value", "$[0]"),
  get_json_object($"value", "$[1]")
))).show

这个的输出是-

+-------+
|  value|
+-------+
|{"a":1}|
|{"b":2}|
|{"c":3}|
|{"d":4}|
|{"e":3}|
|{"f":4}|
+-------+