清除Kafka消费群体中的Kafka成员

Question

我有一个问题，来自一个消费群体的许多Kafka客户端没有正确关闭，因此Kafka集群认为它们仍然是连接的。因此，我无法使用新版本的客户端连接到消费者组。会卡在再平衡这一步。

根据文档，应在< code>session.timeout.ms或maximum < code > group . max . session . time out . ms 之后删除它们。起初我试图将< code>session.timeout.ms设置为< code>30000毫秒(30秒)，但它并没有在Kafka的启动中列出。< code > group . max . session . time out . ms 在该时间点被设置为300000毫秒(5分钟)。30秒后消费者没有被删除。

之后，我尝试将group.max.session.timeout.ms减少到30000毫秒（30秒）并重新启动Kafka。然而，所有客户端仍然停留在消费者组中。

现在，已经过了大约2个小时，客户仍然属于消费者群体。

我尝试删除消费者组:

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
    --delete --group GroupName

这给了我：

* Group 'GroupName' could not be deleted due to: NON_EMPTY_GROUP

不幸的是，似乎没有--force标志。

接下来，我尝试使用以下命令列出消费者组的所有成员:

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
    --members --group GroupName --describe

这给了我 40-50 个使用者组成员（所有这些成员都必须处于非活动状态，因为唯一处于活动状态的使用者已停止）。

有什么方法可以让Kafka从这个组中清除所有消费者，或者强制它删除整个消费者组？

Answer 1

我不得不删除动物园管理员和经纪人日志。

1. 停止动物园管理员
2. 止损经纪商
3. 删除动物园管理员和Kafka的日志（这些日志位于配置/动物园管理员属性配置/服务器属性中）
4. 启动动物园管理员
5. 启动代理

Answer 2

与

< li >组“GroupName”无法删除，原因是:NON_EMPTY_GROUP

这意味着使用者组仍在主动连接到服务器，在删除使用者组之前，您必须首先终止该进程。这对我有用。

ps -ef | grep GroupName | grep -v grep | awk '{print $2}' | xargs kill
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--delete --group GroupName