Spring Boot Kafka：提交无法完成，因为组已经重新平衡

Question

今天，在我的Spring Boot和单实例Kafka应用程序中，我遇到了以下问题：

CommitFailedException：无法完成提交，因为组已经重新平衡并将分区分配给了另一个成员。这意味着对poll（）的后续调用之间的时间比配置的max.poll.interval.ms长，这通常意味着poll循环花费了太多时间处理消息。您可以通过增加会话超时，或者通过使用max.poll.records减小poll（）中返回的批的最大大小来解决这一问题。

这可能是什么原因，如何修复？据我所知--我的消费者被堵了很久，对心跳没有反应。我应该调整Kafka属性来解决这个问题。你能告诉我什么是确切的属性我应该调整和在哪里，例如在Kafka边或在我的应用程序SpringKafka边？

Answer 1

默认情况下，Kafka将返回一批fetch.min.bytes（默认值1）的记录，直到max.poll.records（默认值500）或fetch.max.bytes（默认值52428800)，否则它将等待fetch.wait.max.ms（默认值100）才能返回一批数据。您的使用者需要对该数据进行一些处理，然后再次调用poll()。您的使用者的工作应在max.poll.interval.ms内完成（在V2.0之前的默认时间为300000-5分钟，在V2.0之后的默认时间为30000-30秒）。如果在超时到期之前未调用poll()，则认为使用者失败，组将重新平衡以便将分区重新分配给另一个成员。

因此，要解决您的问题，请减少返回的消息数，或增加max.poll.interval.ms属性以避免超时和重新平衡。