Kafka消费者在重新平衡时获得不同的补偿

Question

我有一个微服务应用程序，它是使用camel kafka开发的，用于消费来自kafka的消息。我用4个并发实例运行这个服务，其中每个实例都有1个消费者，他们消费的主题有20个分区。

在维护期间（每天凌晨1-2点），应用程序将通过停止消费者来暂停消费。

当应用程序暂停消费时，kafka重新平衡发生，一些实例将在停止消费之前分配更多分区。

e、 由instanceA（partition1-5）使用的g分区将被重新分配给instanceB，然后再重新分配给instanceC，直到所有实例都被消费者关闭。

问题出现在应用程序启动消费者之后，一些实例正在重新处理来自kafka的消息，即使没有发布到主题的新消息。

检查日志后，请注意，当应用程序停止重新平衡时，偏移量=12399，但当应用程序开始使用消息时，偏移量=12336。

November 17th 2020, 01:00:02.951 | test-679656954c-5pssk | [Consumer clientId=consumer-group1-17, groupId=group1] Setting offset for partition TestTopic-14 to the committed offset FetchPosition{offset=12399, offsetEpoch=Optional.empty, currentLeader=LeaderAndEpoch{leader=Optional[testbroker1.local:9093 (id: 1 rack: null)], epoch=6}}
November 17th 2020, 02:00:00.559 | test-679656954c-j4xbl | [Consumer clientId=consumer-group1-17, groupId=group1] Setting offset for partition TestTopic-14 to the committed offset FetchPosition{offset=12336, offsetEpoch=Optional.empty, currentLeader=LeaderAndEpoch{leader=Optional[testbroker1.local:9093 (id: 1 rack: null)], epoch=6}}

这是为了检查偏移量是如何改变的吗？

Answer 1

我猜在关闭阶段，4个并发实例会一个接一个地关闭，这就是为什么会看到分区重新平衡，将第一个关闭实例中的实例分配给其他仍在运行的实例，依此类推。关于启动时的补偿，这取决于消费者如何提交补偿。如果启用了自动提交，那么它会定期发生，因此，当关闭发生时，提交可能没有完成（因为是周期性的），最新的偏移量也没有提交。如果您使用的是手动提交，在关闭之前，您应该从应用程序内部确保所有使用者都已提交已消费消息的偏移量。