在Apache NiFi中定义Apache Avro架构全名

Question

使用NiFi 1.7.1（使用Java Avro 1.8.1）和AvroSchemaRegistry，我试图定义一个模式，其中包含name和app字段。名称位于顶层。根据Avro文档[1]，我假设我可以像普通的“name”：“app.name”一样定义全名，但我在：app中遇到了错误非法字符。名称。确实，全名的名称部分不允许点，但根据文档：“如果指定的名称包含点，则假定它是全名…”

然后我尝试使用命名空间字段。使用以下模式：

{
  "type": "record",
  "name": "nameRecord",
  "fields": [
    {
      "type": [
        "string",
        "null"
      ],
      "name": "name"
    },
    {
      "type": [
        "string",
        "null"
      ],
      "namespace": "app",
      "name": "name"
    }
  ]
}

我遇到了以下错误：记录名称record:name-type:UNION-pos:1和name-type:UNION-pos:0中的字段名称重复

最终，我希望能够定义这样的记录模式（在JSON中）：

{
  "name": "Joe",
  "app.name": "NiFi"
}

[1] https://avro.apache.org/docs/1.8.1/spec.html#names

Answer 1

根据文档，命名空间只支持记录、枚举和固定类型，其他字段必须遵守句点（.）不是有效字符的“常规”命名约定。

但是，从NiFi 1.5.0开始（通过NiFi-4612），您可以在AvroSchemaRegistry中指定模式，并将“验证字段名”设置为false。这将允许您绕过字段名称为app的限制。名称。