如果JSON文件中缺少键，我如何将值提取到数据帧中？

Question

我从每个文件以数字结尾的文件夹中加载JSON文件列表，因此我使用通配符一次加载所有文件。

raw_assignments_2 = spark.read.option("multiline","true").option(schema=schema).json("Assignments_*.json")

[{ "id": 8731,
  "resource_type":"assignment",
  "assignee_id":2478
  "status":"complete"}]

我的文件2只包含三个密钥

[{ "id": 8731,
  "resource_type":"assignment",
  "assignee_id":2478}]

id、resource_type、assignee_id是强制字段，我希望每个状态不是强制的JSON文件都有这些字段。当JSON文件中没有键时，如何将状态提取到dataframe中并分配空值

Answer 1

在模式定义中，您可以设置参数nullable=true，然后将加载JSON，并将missing字段设置为NULL。如果您想要一个专用的状态标志，则可以在强制列上筛选nulls。

customschema=StructType([
    StructField("id",DoubleType(), nullable=True),
    StructField("resource_type",StringType(), True),
    StructField("assignee_id",DoubleType(), True),
    StructField("status",StringType(), True)
])

raw_assignments_2 = spark.read.option("multiline","true").schema(customschema).json("data*.json")
raw_assignments_2.show()

raw_assignments_2.withColumn("Issue",f.when(f.col("status").isNull(),True).otherwise(False)).show()


+------+-------------+-----------+--------+
|    id|resource_type|assignee_id|  status|
+------+-------------+-----------+--------+
|8731.0|   assignment|     2478.0|complete|
|8731.0|   assignment|     2478.0|    null|
+------+-------------+-----------+--------+

+------+-------------+-----------+--------+-----+
|    id|resource_type|assignee_id|  status|Issue|
+------+-------------+-----------+--------+-----+
|8731.0|   assignment|     2478.0|complete|false|
|8731.0|   assignment|     2478.0|    null| true|
+------+-------------+-----------+--------+-----+

缺点：它还会标记JSON中存在但值null的条目