像树一样的递归数据类型作为Avro模式

Question

阅读 https://avro.apache.org/docs/current/spec.html 它说架构必须是以下之一：

• 一个JSON字符串，用于命名定义的类型
• 一个JSON对象，其形式为：{“type”：“typeName”…attributes…}，其中typeName是原始类型名或派生类型名，定义如下。允许将本文档中未定义的属性作为元数据，但不得影响序列化数据的格式
• 一个JSON数组，表示嵌入类型的联合

我想要一个描述树的模式，使用树的递归定义是：

< li >具有一个值(比如整数)和一个树列表(子树)的节点 < li >一片有价值的树叶

我最初的尝试看起来像：

{
  "name": "Tree",
  "type": [
    {
      "name": "Node",
      "type": "record",
      "fields": [
        {
          "name": "value",
          "type": "long"
        },
        {
          "name": "children",
          "type": { "type": "array", "items": "Tree" }
        }
      ]
    },
    {
      "name": "Leaf",
      "type": "record",
      "fields": [
        {
          "name": "value",
          "type": "long"
        }
      ]
    }
  ]
}

但是Avro编译器拒绝了这一点，抱怨没有类型< code>{"name":"Tree "，" type":[{"name":"Node "...。看来Avro不喜欢顶级的工会类型。我猜这属于前面提到的规则“模式必须是..JSON对象..其中typeName是基元类型名或派生类型名。但是我不确定“派生类型名”是什么。起初，我认为它与“复杂类型”相同，但也包括联合类型..

总之，把它改成更复杂的定义:

{
  "name": "Tree",
  "type": "record",
  "fields": [{
    "name": "ctors",
    "type": [
      {
        "name": "Node",
        "type": "record",
        "fields": [
          {
            "name": "value",
            "type": "long"
          },
          {
            "name": "children",
            "type": { "type": "array", "items": "Tree" }
          }
        ]
      },
      {
        "name": "Leaf",
        "type": "record",
        "fields": [
          {
            "name": "value",
            "type": "long"
          }
        ]
      }
    ]
  }]
}

工作，但现在我有这个奇怪的记录，只有一个字段，其唯一目的是让我定义我想要的顶级联合类型。

这是在Avro获得我想要的东西的唯一方法还是有更好的方法？

谢谢

Answer 1

我只是偶然发现了同样的问题，想定义一个递归联合。我对一个比你复杂的解决方案更干净的解决方案很悲观，因为目前没有办法命名一个联合，因此在构造它的时候也没有办法递归地引用它

Answer 2

虽然这不是关于表示递归命名联合的实际问题的答案（截至2022年底这是不可能的），但对于树状数据结构，可以解决这个问题。

如果将树表示为节点，将 Leaf 表示为具有空子级列表的节点，则一个递归类型就足够了：

{
  "type": "record",
  "name": "TreeNode",
  "fields": [
    {
      "name": "value",
      "type": "long"
    },
    {
      "name": "children",
      "type": { "type": "array", "items": "TreeNode" }
    }
  ]
}

现在，您的三种类型< code>Tree 、< code>Node和< code>Leaf统一为一种类型< code>TreeNode，并且不需要< code>Node和< code>Leaf的联合。