如何使用Kafka模式管理和Avro来破坏更改

Question

使用avro的Kafka模式管理为我们提供了向后兼容性的灵活性，但我们如何处理方案中的突破性更改？

假设生产者A向消费者C发布消息M

假设消息M的方案发生了重大变化（例如名称字段现在被拆分为名字和姓氏），我们有了新方案M-new

现在我们正在部署producer A-New和Consumer C-New

问题是，在我们的部署过程完成之前，我们可以让生产者发布一条新消息M-new，消费者C（旧的那个）将接收M-new，我们可能会因此丢失消息。

因此，唯一的方法是同步部署新的生产者和消费者，这增加了大量的开销

有什么建议吗？

Answer 1

e、 g name字段现在被拆分为first_name和last_name

“向后兼容”模式的Avro定义不允许您添加这些新字段，1）保留旧名称字段2）为新字段添加默认值-https://docs.confluent.io/current/schema-registry/avro.html

如果消费者首先升级了他们的模式，他们会看到旧名称字段，继续由旧生产者发送，并解释新字段的默认值，直到生产者升级并开始发送新字段

如果生产商先升级，那么消费者将永远看不到新字段，因此生产商仍应发送名称字段，或者选择发送一些垃圾值，这些垃圾值将开始故意破坏使用者（例如，使字段开始为null，但从不实际发送null，然后开始发送null，而使用者认为它不能为null）

无论哪种情况，我都觉得您的记录处理逻辑必须检测哪些字段可用，而不是null或其默认值。

但是，将其与JSON或任何普通字符串（如CSV）进行比较，你不能保证哪些字段应该在那里，如果它们是可空的，或者它们是什么类型（日期是字符串还是长？），因此你不能保证你的客户端会在内部将消息映射到哪些对象进行处理...我发现Avro比兼容性规则更有优势

就我个人而言，我发现在注册表上执行FULL_TRANSITIVE兼容性是最好的，当你在你的Kafka用户之间几乎没有通信时

Answer 2

一个简单的方法是对你的话题有一个很长的保留期。然后你就为这些突破性的变化创建一个新的主题。所有消费者都可以在保留期内转到新主题，而不会丢失邮件。