Apache Spark：将带有JSON字符串的列转换为Scala Spark中的新数据帧[duplicate]

Question

我有一个带字符串类型列的数据帧，这个字符串是JSON格式，我想根据这个JSON格式将这个列转换为多个列。如果我有JSON模式，我可以这样做，但是我没有。

例子：

原始数据帧：

---------------------
|        json_string|
---------------------
|{"a":2,"b":"hello"}|
|   {"a":1,"b":"hi"}|
---------------------

转换/解析后

--------------
|  a |     b |
--------------
|  2 |  hello|
|  1 |     hi|
--------------

我正在使用ApacheSpark 2.1.1。

Answer 1

如果没有预定义的模式，另一个选项是将其转换为RDD[String]或Dataset[String]并作为json加载

下面是你能做的

//convert to RDD[String]
val rdd = originalDF.rdd.map(_.getString(0))

val ds = rdd.toDS

现在加载为json

val df = spark.read.json(rdd) // or spark.read.json(ds)

df.show(false)

同样使用json（ds），json（rdd）在2.2.0

@不推荐（“改用json（数据集[String]）”，"2.2.0")

输出：

+---+-----+
|a  |b    |
+---+-----+
|2  |hello|
|1  |hi   |
+---+-----+