记录缺少字段时出现Avro架构问题

Question

我使用的是NiFi（v1.2）处理器ConvertJSONToAvro。我无法解析一个“记录”类型中仅包含2个元素中的1个元素的记录。数据中也允许完全缺少该元素。我的Avro模式不正确吗？

架构片段：

"name": "personname",
"type": [
  "null":,
  {
    "type": "record",
    "name": "firstandorlast",
    "fields": [
        {
          "name": "first",
          "type": [
            "null",
            "string"
          ]
        },
        {
          "name": "last",
          "type": [
            "null",
            "string"
          ]
        }
      ]
  }
] 

如果“personname”同时包含“first”和“last”，它就可以工作，但是如果它只包含其中一个元素，它就会失败，错误是：无法转换字段personname:无法解析联合：{“last”：“Smith”}不在“type”：[“null”：，{“type”：“record”，“name”：“FirstandLast”，“fields”：[{“name”：“first”，“type”：[“null”，“string”]}，{“name”：“last”，“type”：[“null”，“string”]}]

Answer 1

您缺少默认值

https://avro.apache.org/docs/1.8.1/spec.html#schema_record

您的模式应该看起来像

"name": "personname",
"type": [
  "null":,
  {
    "type": "record",
    "name": "firstandorlast",
    "fields": [
        {
          "name": "first",
          "type": [
            "null",
            "string"
          ],
          "default": "null"
        },
        {
          "name": "last",
          "type": [
            "null",
            "string"
          ],
          "default": "null"
        }
      ]
  }
]