如何在Avro中为兼容的模式从GenericRecord转换为专用记录

Question

Avro SpecificRecord（即生成的java类）是否与模式演化兼容？一、 e.如果我有一个Avro消息源（在我的例子中是Kafka），并且我想将这些消息反序列化为特定的记录，那么这样做是否安全？

我所看到的：

• 将字段添加到架构的末尾效果很好-可以将ok反序列化为specificrecord
• 在中间添加字段不会破坏现有客户机

即使消息兼容，这也是一个问题。

如果我能找到新的模式（例如使用合流模式注册表），我可以反序列化到GenericRecord，但似乎没有办法从GenericRecord映射到不同模式的特定记录。

MySpecificType message = (T SpecificData.get().deepCopy(MySpecificType.SCHEMA$, genericMessage);

在很多地方都提到了DeepCoping，但它使用html" target="_blank">索引，所以不起作用。

当您有两个模式并且它们兼容时，是否有任何安全的方法可以在两个avro对象之间进行映射？即使我可以从Generc记录映射到Generic记录，这也可以像我可以完成深度复制技巧一样完成工作。

Answer 1

默认情况下，Kafkaavroderializerconfig。SPECIFIC\u AVRO\u READER\u CONFIG设置为false，因此默认情况下，Kafkaavroderializer将生成GenericData$记录，而不是所需的对象（AVRO生成的类）。

正如@JARC所说，您可以以编程方式启用它。

如果您在Spring Boot项目中使用它，请按以下方式设置：

spring.kafka.consumer.value-deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer
spring.kafka.consumer.properties.specific.avro.reader=true

Answer 2

这里有一些特定数据类型转换的示例测试。全部都在配置“specificDeserializerProps”中

https://github.com/confluentinc/schema-registry/blob/master/avro-serializer/src/test/java/io/confluent/kafka/serializers/KafkaAvroSerializerTest.java

我添加了以下配置，并根据需要获得了特定的类型。

HashMap<String, String> specificDeserializerProps = new HashMap<String, String>();
specificDeserializerProps.put(KafkaAvroDeserializerConfig.SCHEMA_REGISTRY_URL_CONFIG, "bogus");
specificDeserializerProps.put(KafkaAvroDeserializerConfig.SPECIFIC_AVRO_READER_CONFIG, "true");
specificAvroDeserializer = new KafkaAvroDeserializer(schemaRegistry, specificDeserializerProps);

希望有帮助