Kafka Avro模式演化

Question

我正试图了解更多关于我们在Kafka主题中使用的Avro模式的信息，我对这一点相对来说比较陌生。

我想知道是否有一种方法可以在特定情况下发展模式。我们用一个不能为null的新字段或任何默认值来更新模式，因为这些新字段是标识符。解决这个问题的方法是创建新主题，但是有没有更好的方法来改进现有模式？

Answer 1

主题中有四种可能的兼容性：-向前：等待旧版本架构的客户端可以读取新版本-向后：等待新版本架构的客户端可以读取旧版本-两者：两者都在上面-无

考虑到有些时候，一些生产商会生产新旧数据，而消费者会生产新旧数据。

在你的情况下，客户会怎么做？

• 添加字段始终是向前兼容的（旧客户端只需删除新字段）

此外，这仅适用于您计划将数据转换为特定模式（例如使用相应的POCO）-如果您只是将其转换为json并进行自定义处理，您可以有一个新的客户端处理这两种模式。

所以我有两种可能的方式来写同一个话题：

>

例如，如果您以前有一个“名字”，并且希望添加“姓氏”，则可以将“姓氏”默认设置为“NC”（或空），就像您在数据库中所做的那样。

• 您可以将兼容性默认值设置为none（或forward），以便更新模式（默认情况下，兼容性为backward）。在这种情况下，等待新模式的客户端将无法处理旧数据。但是，如果您只处理传入数据（更改兼容性，更新所有生产者（以便只有新数据会到达），然后您的客户机等待新模式，那么它可能适合您的使用——记住将兼容性设置回向后或您真正想要的兼容性

我会选择选项1。