如何自动删除未使用的Kafka消费者

Question

我将Kafka用于一个消息传递应用程序。对于这个应用程序，有一个生产者将消息放入一个主题，消费者注册到这个主题，并消费这些消息。这些消费者是Dockerized应用程序。出于自动缩放的目的，每个使用者在创建时都注册为具有唯一ID的使用者。

Consumer2被创建为docker容器，并将自身注册为ID为Consumer2的使用者

现在，无论出于什么原因，consumer1失败，并被consumer3替换，后者将自己注册为kafka的使用者，其ID为consumer3。

问题是，consumer1不再使用。从长远来看，将会有多个未使用的消费者。

Answer 1

如果consumer1和consumer3属于同一个consumer组，则consumer3将从consumer1停止的地方开始读取消息。这是因为Kafka维护特定于一个消费群体的抵销。因此，如果具有相同消费者组的消费者中有一个失败，其他消费者将使用偏移量，从而避免重新处理数据。

Kafka broker不会像您在问题中假设的那样在任何地方维护失败的消费者日志。