为什么静态类型语言需要Avro模式注册表？

Question

    Properties props = new Properties();
    props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, String.join(",", kafkaProperties.getServers()));
    props.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, ByteArrayDeserializer.class.getName());
    props.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, KafkaAvroDeserializer.class.getName());

    props.setProperty(KafkaAvroDeserializerConfig.SCHEMA_REGISTRY_URL_CONFIG, kafkaProperties.getSchemaRegistryUrl());
KafkaConsumer<byte[], FooClass> kafkaConsumer = new KafkaConsumer<>(props);;

在我的项目中，我有.avsc文件为FooClass类定义模式。我还配置了avro-maven-plugin，以便在构建时为我生成类fooClass。

为什么我仍然需要指定架构注册表URL？难道我的使用者不能使用项目中的.avsc文件反序列化我的Kafka消息的值吗？

Answer 1

您正在使用汇流库(io.Confluent.kafka.serializers.kafkaavrodeserializer)，它们定义了自己的汇流Avro格式，并要求使用汇流模式注册表。

从技术上讲，Apache Avro不需要注册表。

Avro需要Writer模式来解码消息，虽然它包含在Avro文件中，使其能够自我描述，但它不包含在流格式或汇合Avro中。

因此，客户端需要某种方法来查找模式。这可以通过合流Avro格式的合流模式注册表解决，也可以通过您自己的org.apache.Avro.message.schemastore解决。请参阅这个示例，其中我使用了一个预填充了已知模式的SchemaStore.cache。

请注意，该示例使用Apache Avro格式，该格式与Confluent Avro不兼容。

汇流Avro反序列化器需要一个汇流模式注册表，并且没有“使用已知模式运行”的API。