如果group cordinator在很长一段时间内不调用poll（）,它是否会将kafka consumer（0.9）视为死亡？

Question

https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html提到，“只要使用者定期发送心跳，它就被认为是活动的、良好的，并且正在处理来自其分区的消息。事实上，轮询消息的行为是导致使用者发送这些心跳的原因。如果使用者停止发送心跳的时间足够长，它的会话将超时，组协调器将认为它已死亡并触发重新平衡。”

类似地，https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/consumer/kafkaconsumer.html指定“代理将通过使用心跳机制自动检测测试组中失败的进程。使用者将定期自动ping集群，这让集群知道它是活动的。只要使用者能够做到这一点，它就被认为是活动的，并保留从分配给它的分区消耗的权利。如果它停止心跳的时间比session.timeout.ms长，那么它将被认为是死亡的，它的分区将被分配给另一个进程。”

在我的应用程序中，在调用另一个poll（）之前，处理从上一个poll（）接收的消息可能需要多达几个小时。注意：我禁用自动提交是因为我并不总是知道处理所有以前的消息需要多长时间。

a）这是否会导致小组协调人认为消费者已死亡或不活跃？

b）是否有其他方法向组协调器发送心跳消息以保持会话活动？

c）session.timeout.ms在这里对保持使用者活动/活动是否有任何影响？

Answer 1

a）是的，如果调用poll()的时间超过session.timeout.ms，Kafka认为使用者已死亡。

b）作为另一种选择，您可以在处理期间调用poll()（即与处理交错）来触发心跳（并在每次“真正”轮询之前进行搜索）。使用额外的处理线程也是可能的，允许主线程定期轮询以发送心跳。但是，您需要确保检测到处理线程上的故障（正确执行此操作很棘手）！

c）您可以增加超时值，但是，这可能不是您想要的，就好像您的使用者失败了，这个失败很晚才被检测到。

你所描述的问题实际上是已知的，消费者的行为在未来可能会改变。已经有关于它的讨论了。详见KIP-62。

更新

由于Kafka0.10.1使用者有两个配置参数:max.poll.interval.ms和session.timeout.ms。第一个是连续两次轮询之间的最大时间，而第二个是心跳超时。心跳在一个额外的线程中发送，因此现在与调用poll()解耦。因此，增加max.poll.interval.ms不会产生不能快速检测到整个客户端故障（无心跳）的负面影响。