Kafka消费群体的根本原因是再平衡

Question

kafka机器作为hortonworks包的一部分安装，kafka版本为0.1X

我们运行deeg_data应用程序，使用kafka主题中的数据

在最后几天，我们看到我们的应用程序--deeg_data失败了，我们开始寻找根本原因

在kafka集群中，我们看到以下行为

/usr/hdp/current/kafka-broker/bin/kafka-consumer-groups.sh --group deeg_data --describe --bootstrap-server kafka1:6667
To enable GC log rotation, use -Xloggc:<filename> -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=<num_of_files>
where num_of_file > 0
GC log rotation is turned off
Consumer group ‘deeg_data’ is rebalancing

从kafka侧kafka集群是健康的，所有的主题都是平衡的，所有的kafka经纪人都正确地向zooManager签名

一段时间后（几个小时），我们再次运行以下内容，但没有错误-消费者组'deeg_data'正在重新平衡

我们得到以下正确的结果

/usr/hdp/current/kafka-broker/bin/kafka-consumer-groups.sh --group deeg_data --describe --bootstrap-server kafka1:6667
To enable GC log rotation, use -Xloggc:<filename> -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=<num_of_files>
where num_of_file > 0
GC log rotation is turned off
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER
deeg_data pot.sdr.proccess 0 6397256247 6403318505 6062258 consumer-1_/10.3.6.237
deeg_data pot.sdr.proccess 1 6397329465 6403390955 6061490 consumer-1_/10.3.6.237
deeg_data pot.sdr.proccess 2 6397314633 6403375153 6060520 consumer-1_/10.3.6.237
deeg_data pot.sdr.proccess 3 6397258695 6403320788 6062093 consumer-1_/10.3.6.237
deeg_data pot.sdr.proccess 4 6397316230 6403378448 6062218 consumer-1_/10.3.6.237
deeg_data pot.sdr.proccess 5 6397325820 6403388053 6062233 consumer-1_/10.3.6.237.
.
.
.

所以我们想了解为什么我们会：

Consumer group ‘deeg_data’ is rebalancing

出现上述状况的原因是什么，以及我们为什么会得到重新平衡

我们也有好职位（https://www.confluent.io/blog/kafka-consumer-multi-threaded-messaging/）

当需要在消费者组中的消费者之间重新分配分区时，会触发组再平衡消费者组再平衡：新消费者加入组；现有消费者离开集团；现有消费者更改订阅；或将分区添加到订阅的主题之一。

再平衡由集团协调员协调，涉及与集团内所有消费者的沟通。要深入了解消费者群体再平衡协议，请查看Kafka再平衡协议中你一直想知道但不敢问的马蒂亚斯·J·萨克斯（Matthias J.Sax）和格温·沙皮拉（Gwen Shapira）的阿帕奇·Kafka神奇再平衡协议。

关于客户机代码，在重新平衡期间，分配给它的一些分区可能会被撤销。在旧版本的再平衡协议（称为“急切再平衡”）中，分配给使用者的所有分区都会被撤销，即使它们将再次分配给同一使用者。对于较新的协议版本，增量合作再平衡，只有重新分配给另一个使用者的分区才会被撤销。你可以在Konstantine Karantasis的这篇博文和Sophie Blee Goldman的这篇博文中了解更多关于新的再平衡协议的信息。

无论协议版本如何，当一个分区即将被撤销时，消费者必须确保记录处理已经完成，并且在通知组协调器可以安全地重新分配该分区之前，该分区的偏移量已经提交。

在每用户线程模型中启用了自动偏移提交，您就不必担心组重新平衡。一切都是通过轮询方法自动完成的。但是，如果禁用自动偏移提交和手动提交，则在发送加入组请求之前提交偏移是您的责任。您可以通过两种方式实现这一点：

注意-也很好的帖子是从你-管-https://www.youtube.com/watch?v=QaeXDh12EhE

注意-好的堆栈溢出后-Kafka消费者再平衡需要太长时间

注意-从ENV方面来看，由于我们的zooManager服务器安装在VM机器上，而VM机器使用非ssd磁盘，并且关于交换消耗，那么我认为我们还需要考虑后https://community.cloudera.com/t5/Community-Articles/Zookeeper-Sizing-and-Placement/ta-p/247885

Answer 1

Kafka中的再平衡是一种协议，由各种组件（Kafka连接、Kafka流、模式注册表等）用于各种目的。

最简单的形式是，只要元数据发生任何更改，就会触发重新平衡。

现在，元数据这个词可以有很多含义-例如：

• 在主题的情况下，元数据可能是主题分区和/或副本，以及它们存储的位置（哪个代理）
• 在消费者组的情况下，它可能是作为组一部分的消费者的数量，以及他们正在消费来自等等的消息的分区。

上面的例子并不详尽，也就是说，主题和消费者群体有更多的元数据，但我不会在这里详述。

因此，如果有任何变化：

• 一个主题的分区或副本的数量，如添加，删除或不可用
• 一个消费群体中的消费者数量，如添加或删除
• 其他类似的变化...

重新平衡将被触发。在消费者群体再平衡的情况下，消费者应用程序需要足够强大，以满足此类场景。

因此，再平衡是一个特征。但是，在您的情况下，这种情况似乎非常频繁，因此您可能需要调查客户端应用程序和集群上的日志。

以下是一些可能有所帮助的参考资料：

1. 重新平衡协议-关于这个主题的一篇非常好的媒体文章
2. 消费者再平衡-另一个关于SO关注消费者再平衡的帖子