显式指定用于读取JSON的模式，并将缺少的字段标记为null[重复]

Question

我正在生成一个数据集

DataSet<Person> personDs = sparkSession.read().json("people.json").as(Encoders.bean(Person.class));

其中人员

class Person {
    private String name;
    private String placeOfBirth;

    //Getters and setters
    ...
}

如果我的输入数据只包含一个名称（{"name"："bob"}），我得到一个错误org.apache.spark.sql.Analysis Exception：无法解决'place OfBirth'给定的输入列：[name]。

我有没有办法告诉Spark，出生地点（或任何其他字段）可以是null？

Answer 1

在Spark 2.3.0和Scala 2.11.12中，该代码对我有效：

sparkSession.read.schema("name String, placeOfBirth String").json("people.json").as(Encoders.bean(classOf[Person])).show()

输出：

+----+------------+
|name|placeOfBirth|
+----+------------+
| bob|        null|
+----+------------+