如何从Kafka的两个不同集群消费？

Question

我有两个Kafka集群说A和B，B是A的复制品。仅当 A 关闭且相反，我才希望使用来自集群 B 的消息。然而，使用来自两个集群的消息会导致重复的消息。那么，有什么办法可以将我的 kafka 使用者配置为仅从一个集群接收消息。

谢谢-

Answer 1

那么，有没有什么方法可以配置我的kafka消费程序只接收来自一个集群的消息。

是的：Kafka消费者实例将始终只接收来自一个Kafka集群的消息。也就是说，没有内置选项可以使用相同的使用者实例从2个集群读取数据。但我认为你正在寻找不同的东西，见下文。

我希望仅在A关闭时使用来自集群B的消息，反之亦然。然而，使用来自两个集群的消息会导致重复的消息。

Kafka的消费者API中没有内置的故障转移支持，如“如果集群A失败，切换到集群B”。如果您需要这样的行为(如您的情况)，您需要在使用Kafka消费者API的应用程序中这样做。

例如，您可以创建一个使用者实例以从集群 A 读取数据，监控该实例和/或该集群以确定是否需要故障转移到集群 B，以及（如果需要）通过创建另一个消费实例来执行到 B 的故障转移，以便在 A 发生故障时从 B 中读取数据。

然而，有一些问题使这种故障转移行为比我的简化示例更复杂。一个困难是知道在切换到B时已经读取了来自集群A的哪些消息：这很棘手，因为通常，集群之间的消息偏移量不同，因此确定消息（在B中）的“副本”是否已经读取（从A中）并不容易。

注意：有时您可以在例如消息处理是幂等的情况下（即重复消息/重复消息处理不会改变处理结果）简化这样的应用程序/这样的故障转移逻辑。