动态将任意内容转换为json[重复]

Question

我有一个很大的。tsv文件的结构有些奇怪，它有如下行：

CA  110123140   14228123056896  [{"id":"missing_required_gtin_future_disapproval","location":"gtin","severity":"critical","timestamp":"2017-02-19T20:57:36Z"}, {"id":"missing_required_gtin_error","location":"gtin","severity":"critical","timestamp":"2017-02-19T20:57:36Z"}]]

如您所见，它有4列，但第4列是一个json对象。

我可以将文件加载到火花上的df：

val df = sqlContext.read.format("com.databricks.spark.csv")
.option("delimiter", "\t")
.load(file_path)

但是：

df.take(1)(0)(3)

产量：

res53:  Any = [{"id":"missing_required_gtin_future_disapproval","location":"gtin","severity":"critical","timestamp":"2017-02-19T20:54:43Z"}, {"id":"missing_required_gtin_error","location":"gtin","severity":"critical","timestamp":"2017-02-19T20:54:43Z"}]

这使得（对我来说）很难将其解析为json对象。

理想情况下，我想要的是一个数据帧，其中的列是json对象的键：

"id"    "location"   "severity"          "timestamp"
 123     blabla      critical       2017-02-19T20:54:43Z
 234     blabla      critical       2017-02-19T21:54:43Z

因此，困难是双重的。

1. 对于原始文件上的每一行，我可能在最终的数据帧上有几行，因为每个json对象都是一个列表。
2. 如何处理json对象？

编辑：

我意识到我不太清楚自己到底想要什么。我真正想要的是能够访问前三列，以便最终的df如下所示：

"country "   "user"    "object"  "id"    "location"   "severity"          "timestamp"
    CA      98172937   87647563  123     blabla      critical       2017-02-19T20:54:43Z
    CA      98172937   87647563  234     blabla      critical       2017-02-19T21:54:43Z

这是我认为最困难的部分，因为它涉及以某种方式插入json对象前3列的信息。

Answer 1

您可以将数据读取为rdd，然后将json列转换为这样的数据帧：

 val rdd = sc.textFile("path/filet.tsv").map(_.split('\t')(3))
 val df = sqlContext.read.json(rdd)
 df.printSchema
  root
   |-- id: string (nullable = true)
   |-- location: string (nullable = true)
   |-- severity: string (nullable = true)
   |-- timestamp: string (nullable = true)