Apache Avro使用@AvroSchema从JavaPOJO生成错误的Avro模式

Question

我有一个带有日期的简单POJO，在导入Google BigQuery之前，它将作为Avro存储在存储器中。日期转换为long，我试图使用@AvroSchema覆盖日期字段的模式生成，以便BigQuery了解字段的类型。

简单的POJO：

public class SomeAvroMessage implements Serializable {
    @AvroSchema("{\"type\":\"long\",\"logicalType\":\"timestamp-millis\"}")
    private long tm;
    @AvroSchema("{\"type\":\"long\",\"logicalType\":\"timestamp-millis\"}")
    private long created;

    public SomeAvroMessage() {
    }
}

这最终得到以下AVRO-Schema：

{"type":"record","name":"SomeAvroMessage",
"namespace":"some.namespace",
"fields":[
      {"name":"tm","type":{"type":"long","logicalType":"timestamp-millis"}},
      {"name":"created","type":{"type":"long","logicalType":"timestamp-millis"}}
]}

这些似乎是错误的，应该是简单的{“name”：“tm”，“type”：“long”，“logicalType”：“timestamp millis”}

这在Google数据流中使用，Apache Beam 2.22是用Java编写的。

我错过了什么吗？

Answer 1

如文件所示：

逻辑类型是Avro原语或复杂类型，具有额外的属性来表示派生类型。逻辑类型必须始终存在属性logicalType，并且是具有本节后面列出的逻辑类型之一名称的字符串。可以为特定的逻辑类型定义其他属性。

本文档还提供了avro模式中日期类型的示例：

{
  "type": "int",
  "logicalType": "date"
}

基本上您的模式是正确的，每次您需要使用一些逻辑类型时，您都可以像这样构建您的模式。

Answer 2

值{“name”：“tm”，“type”：{“type”：“long”，“logicalType”：“timestamp millis”}是正确的。如果我们将其扩展到更清晰的伪代码，它是：

Field {
  name: "tm",
  type: Schema {
    type: "long",
    logicalType: "timestamp-millis"
  }
}

您可以看到该字段有一个name和一个type。Avro字段的type必须是Avro模式。logicalType字段位于模式内部，而不是与它相邻。