如何通过引用Kafka主题的另一个模式来更新Avro模式？

Question

如果Kafka主题的Avro模式被用作另一个模式的参考，那么更新该模式的正确html" target="_blank">方法是什么？

例如，假设我们有两个Kafka主题：一个使用Avro模式用户{“type”：“record”，“namespace”：“test”，“name”：“User”，“fields”：[{“name”：“username”：“username”，“type”：“string”}]}，另一个使用UserAction{“type”：“record”，“namespace”：“test”，“name”：“UserAction”，“fields”：[{“name”：“action”，“type”：“string”}，{“name”：“User”，“type”：“test User”}}。

然后我想给用户添加一个额外的字段——一个“姓氏”，所以它看起来像这样：。。。“字段”：[{“名称”：“用户名”，“类型”：“字符串”}，{“名称”：“姓氏”，“类型”：[“字符串”，“空”]，“默认值”：空}]，空以使此更改兼容。要做到这一点，我可以更改Avro模式文件，使用Maven模式插件重新生成POJO，然后如果我将使用KafkaTemplate向第一个主题发送消息，则将更新模式，并且在主题上显示新字段。

问题是，如果我向第二个主题发送一条带有UserAction的消息，它仍然会引用旧的用户模式，没有“姓氏”字段，即使POJOs会正确地看到它。因此，发送的任何“姓氏”都不会存储在主题中，在消费者中会作为空值接收。

第二种方式是强制用户更新模式吗？

Answer 1

虽然Confluent Schema Registry允许在注册时进行引用，但我认为它不会随着您只更改一个模型而动态更新。

相反，您可以定义一个模式“monorepo”，将模式更改打包并注册在一起。

例如，在Avro IDL中，您可以定义一个文件

record User {
  // fields here
}

record UserAction {
  User user;
  string action;
}

如果使用Avro-Maven pluginidl schemataaction，它将反映两个输出AVSC模式文件中的所有用户更改。

当Java模型被创建时，它将拥有所有必要的字段。不过，您需要分别更新依赖于这些模型的所有外部客户端。