Avro Schema与Kafka，ClassCastException？

Question

我为记录创建了一个Avro模式，我们将其发布到Kafka主题中。我们实际的Kafka记录模式更复杂，但为了简洁起见，我只附上了相关部分。我们在记录中有多个嵌套子类，但由于某些原因，我在尝试发布记录时遇到以下异常（包名称已被掩盖）：

java.lang.ClassCastException： aaa.bbb.ccc.ddd.Amount can not cast to org.apache.avro.generic.IndexedRecord

class KafkaRecord {

    private Amount amount;

    class Amount {

        String currency;
        long value;

    }

}

这是我定义的Avro模式的当前子集。

{
  "type" : "record",
  "name" : "KafkaRecord",
  "namespace" : "com.company.department",
  "fields" : [ {
    "name" : "amount",
    "type" : {
      "type" : "record",
      "name" : "Amount",
      "namespace" : "aaa.bbb.ccc.ddd",
      "fields" : [ {
        "name" : "value",
        "type" : "long"
      }, {
        "name" : "currency",
        "type" : "string"
      } ]
    }
  }
}

我们的对象(KafkaRecord)的JSON表示如下:

{
  "amount": {
    "currency": "GBP",
    "value": 12345
  }
}

我似乎不明白为什么Avro不喜欢这个嵌套的记录，我更喜欢不剥离这些嵌套的类，因为这会使JSON记录非常难以读取和管理类。

如果有人能指出我在这里做错了什么，那就太好了！

Answer 1

那么，您不需要编写自己的Java文件。听起来像是你做的，所以错误就像它所说的那样-Amount类不是IndexedBook

例如，如果我使用您的模式并运行

java -jar ~/Downloads/avro-tools-1.8.2.jar compile schema KafkaRecord.avsc .

然后看文件，我们看到它扩展了一些Avro java类。

$ head -n 15 aaa/bbb/ccc/ddd/Amount.java
/**
 * Autogenerated by Avro
 *
 * DO NOT EDIT DIRECTLY
 */
package aaa.bbb.ccc.ddd;

import org.apache.avro.specific.SpecificData;
import org.apache.avro.message.BinaryMessageEncoder;
import org.apache.avro.message.BinaryMessageDecoder;
import org.apache.avro.message.SchemaStore;

@SuppressWarnings("all")
@org.apache.avro.specific.AvroGenerated
public class Amount extends org.apache.avro.specific.SpecificRecordBase implements org.apache.avro.specific.SpecificRecord {

Avro Maven插件指南中记录了以编程方式执行此操作的方法。

是的，Avro可以很好地处理嵌套记录，我个人喜欢使用IDL来更轻松地创建它们

@namespace("com.company.department")
protocol KafkaEventProtocol {
  @namespace("aaa.bbb.ccc.ddd")
  record Amount {
    string currency;
    long value;
  }

  record KafkaValue {
    Amount amount;
  }
}