在 Pyspark 2.4 中使用结构类型验证列的架构

Question

我有一个数据帧，其中有一列是JSON字符串

from pyspark.sql import SparkSession
from pyspark.sql.types import *
import pyspark.sql.functions as F

sc = SparkSession.builder.getOrCreate()

l = [
    (1, """{"key1": true, "nested_key": {"mylist": ["foo", "bar"], "mybool": true}})"""),
    (2, """{"key1": true, "nested_key": {"mylist": "", "mybool": true}})"""),
    ]
df = sc.createDataFrame(l, ["id", "json_str"])

并且希望使用模式解析< code>from_json的< code>json_str列

schema = StructType([
    StructField("key1", BooleanType(), False),
    StructField("nested_key", StructType([
        StructField("mylist", ArrayType(StringType()), False),
        StructField("mybool", BooleanType(), False)
     ]))
])

df = df.withColumn("data", F.from_json(F.col("json_str"), schema))
df.show(truncate=False)
+---+--------------------------+
|id |data                      |
+---+--------------------------+
|1  |[true, [[foo, bar], true]]|
|2  |[true, [, true]]          |
+---+--------------------------+

正如人们所看到的，第二行不符合架构中的架构，因此即使我在StructField中将False传递到可以为空，它也是空的。对于我的管道来说，如果存在不符合所定义架构的数据，则会以某种方式引发警报，但我不确定在Pyspark中执行此操作的最佳方法。真正的数据有很多很多的键，其中一些是嵌套的，所以用某种形式的isNan检查每个键是不可行的，因为我们已经定义了模式，所以感觉应该利用它。

如果重要的话，我不必检查整个数据帧的模式，我实际上是在检查StructType列的模式之后

Answer 1

查看选项参数：https://spark.apache.org/docs/2.3.1/api/python/pyspark.sql.html?highlight=from_json#pyspark.sql.functions.from_json

虽然有点含糊，但是它允许你在这里传递一个< code>dict到底层方法:https://spark . Apache . org/docs/2 . 3 . 1/API/python/py spark . SQL . html？highlight = from _ JSON # py spark . SQL . data frame reader . JSON

您可能成功地传递了类似＜code＞选项＝｛‘mode’：‘FAILFAST｝