解析spark流中的复杂字符串

Question

我正在从Azure事件中心获取流数据集。数据采用以下格式：

[
  [
    {
      "data": "sampledata1",
      "addressdata": {
        "isTest": false,
        "address": "washington",
        "zipcode": 98119,
        "city": "seattle",
        "randomstring": "abcdabcd:ghkjnkasd:asdasdasd"
      },
      "profession": "engineer",
      "party": "democrat"
    },
    {
      "data": "sampledata2",
      "addressdata": {
        "isTest": false,
        "address": "virginia",
        "zipcode": 20120,
        "city": "Centreville",
        "randomstring": "zabcdabcd:tghkjnkasd:gasdasdasd"
      },
      "profession": "teacher",
      "party": "republican"
    }
  ]
]

从下面的文章中，我可以得到json作为原始字符串。https://docs.databricks.com/spark/latest/structured-streaming/streaming-event-hubs.html

但是我不能使用get_jon_object从字符串中提取单个项目。我认为问题在于字符串不是单个的json对象，它是一个json数组的数组。因此，get_json_object无法解析它。

val outputDf = streamingInputDf.select(
     get_json_object(($"body").cast("string"), "$.data").alias("data"), 
     get_json_object(($"body").cast("string"), "$.addressdata").alias("addressdata"), 
     get_json_object(($"body").cast("string"), "$.profession").alias("profession"), 
     get_json_object(($"body").cast("string"), "$.party").alias("party"), 
     date_format($"enqueuedTime", "dd.MM.yyyy").alias("day"),
     date_format($"enqueuedTime", "HH").cast("int").alias("hour") ,
     when(date_format($"enqueuedTime", "mm").cast("int")<=15,1)
    .when(date_format($"enqueuedTime", "mm").cast("int")>15 && date_format($"enqueuedTime", "mm").cast("int")<=30,2)
    .when(date_format($"enqueuedTime", "mm").cast("int")>30 && date_format($"enqueuedTime", "mm").cast("int")<=45,3)
    .otherwise(4).alias("minute")
)   

有人有任何建议，如何优雅地解析数据并从字符串中提取个人信息？任何类似于get_json_object的方法，可以从json数组中提取数据？

PS：我在一行中获取json的数组。不像上面提到的那样。

Answer 1

要使用Json类型格式，java中有很多工具可以使用。但是根据我在不同平台的经验，根据性能和准确性等不同方面，Google Gson确实是最好的。（Gson库：https://github.com/google/gson）

此外，它真的很容易使用，如下面的示例代码:

String json = {"insurance1":45.1,"insurance2":505.5};
Gson gson = new Gson();
Map<String, Float> jsonObj = gson.fromJson(json, Map.class);
System.out.println(jsonObj.get("insurance1"));

此外，如果需要具有更复杂和自定义的数据结构，则可以创建一个实体，并在上面的示例中使用 fromJson 方法而不是 Map 类。作为示例 Json，如果有这些复杂对象的数组或列表，则可以使用 TypeToken 来定义输入 Json 结构，并在 fromJson 方法中使用它，如下面的示例格式所示：

new TypeToken<ArrayList<Class.forName(MyClass)>>

有关TypeToken的更多信息，您可以使用此链接：TypeToken