在avro模式中使用“default”

Question

根据Avro文档中“default”属性的定义：“此字段的默认值，用于读取缺少此字段的实例（可选）。”

这意味着，如果缺少相应的字段，则采用默认值。

但事实似乎并非如此。考虑下面的<代码>学生<代码>模式：

{
        "type": "record",
        "namespace": "com.example",
        "name": "Student",
        "fields": [{
                "name": "age",
                "type": "int",
                "default": -1
            },
            {
                "name": "name",
                "type": "string",
                "default": "null"
            }
        ]
    }

模式表示：如果“年龄”字段丢失，则将值视为-1。“名称”字段也是如此。

现在，如果我尝试从以下JSON构建学生模型：

{"age":70}

我得到一个例外：

org.apache.avro.AvroTypeException: Expected string. Got END_OBJECT

    at org.apache.avro.io.JsonDecoder.error(JsonDecoder.java:698)
    at org.apache.avro.io.JsonDecoder.readString(JsonDecoder.java:227)

看起来默认设置未按预期工作。那么，违约的作用到底是什么呢？

这是用于生成学生模型的代码：

Decoder decoder = DecoderFactory.get().jsonDecoder(Student.SCHEMA$, studentJson);
SpecificDatumReader<Student> datumReader = new SpecificDatumReader<>(Student.class);
return datumReader.read(null, decoder);

（学生类是由Avro编译器从学生模式自动生成的）

Answer 1

只是添加上面回答中已经说过的内容。如果一个字段不存在，那么它的类型与null联合。否则它只是一个拼写为null的字符串，它in.example模式：

{
"name": "name",
"type": [
  "null",
  "string"
],
"default": null

}

然后，如果您添加{“age”：70}并检索记录，您将得到以下结果：

{"age":70,"name":null}

Answer 2

我认为对默认值有一些理解失误，所以希望我的解释也能对其他人有所帮助。当字段不存在时，默认值用于给出默认值，但这基本上是在实例化avro对象时（在您的情况下调用datumReader.read），但它不允许读取具有不同的模式，这就是为什么“模式注册表”的概念对这类情况有用。

下面的代码工作，并允许读取您的数据

Decoder decoder = DecoderFactory.get().jsonDecoder(Student.SCHEMA$, "{\"age\":70}");
SpecificDatumReader<Student> datumReader = new SpecificDatumReader<>(Student.class);

Schema expected = new Schema.Parser().parse("{\n" +
        "  \"type\": \"record\",\n" +
        "  \"namespace\": \"com.example\",\n" +
        "  \"name\": \"Student\",\n" +
        "  \"fields\": [{\n" +
        "    \"name\": \"age\",\n" +
        "    \"type\": \"int\",\n" +
        "    \"default\": -1\n" +
        "  }\n" +
        "  ]\n" +
        "}");

datumReader.setSchema(expected);
System.out.println(datumReader.read(null, decoder));

正如您所看到的，我指定了用于写入不包含字段name的json输入的模式，但是（考虑到您的模式包含默认值），当您打印记录时，您将看到带有默认值的名称

{"age": 70, "name": "null"}

以防万一，可能知道也可能不知道，“null”实际上不是null值，而是一个值为“null”的字符串。