session.timeout之间的差异。ms和max.poll.interval。Kafka的ms

Question

AFAIK，max.poll.interval.ms是Kafka 0.10.1中引入的。然而，还不清楚我们什么时候可以同时使用session.timeout.ms和max.poll.interval.ms，考虑使用心跳线程没有响应的酪蛋白，但是我的处理线程由于设置了更高的值，它仍然在处理记录。但是当heartbeat线程关闭时，在越过session.timeout.ms之后，会发生什么情况。因为我在POC中观察到，消费者重新平衡直到达到max.poll.interval.ms才会发生< br >所以对我来说session.timeout.ms似乎是多余的。< br >发布了类似的问题，但它没有回答这个问题。

Answer 1

会话超时。ms＜/code＞用于通过心跳机制检测消费者故障。消费者心跳线程必须在session.timeout之前向代理发送心跳。ms＜/code＞时间到期。否则，被Kafka视为死亡的消费者将被触发再平衡。

heartbeat.interval.ms：使用Kafka的组管理设施时，消费者协调器心跳之间的预期时间。心跳用于确保消费者的会话保持活动状态，并在新消费者加入或离开组时促进重新平衡。

session.timeout.ms：使用 Kafka 的组管理工具时用于检测客户端故障的超时。客户端定期发送检测信号以向代理指示其活动状态。如果代理在此会话超时到期之前未收到任何检测信号，则代理将从组中删除此客户端并启动重新平衡。

轮询是检查消费者健康状况的另一种机制。消费者应该在不过期的情况下调用轮询（）方法max.poll.interval.ms。如果这个时间过期（通常长时间运行的进程会导致这个问题），消费者会再次被视为死亡并触发重新平衡。

最大poll.interval。ms：使用消费者组管理时，poll（）调用之间的最大延迟。这为消费者在获取更多记录之前的空闲时间设置了上限。如果在此超时到期之前未调用poll（），则认为使用者失败，组将重新平衡，以便将分区重新分配给另一个成员。

其他重要的一点是（从版本 0.10.1.0 开始）：

rebalance.timeout = max.poll.interval.ms

由于我们为客户提供了尽可能多的 max.poll.interval.ms 来处理一批记录，因此这也是在最坏的情况下，消费者可以期望重新加入该组的最长时间。因此，我们建议将 Java 客户机中的重新平衡超时设置为配置了 max.poll.interval.ms 的相同值。当重新平衡开始时，后台线程将继续发送检测信号。在处理完成并且用户调用 poll（） 之前，使用者不会重新加入组。从协调器的角度来看，在 1） 其会话超时未收到检测信号的情况下过期，或者 2） 重新平衡超时过期之前，不会将使用者从组中删除。

因此，在你的情况下，如果 session.timeout.ms 过期时没有对使用者进行检测信号，则会在此使用者组中启动重新平衡。重新平衡启动后，使用者组中的所有使用者都被撤销，Kafka 等待仍在发送检测信号的所有使用者进行 poll（） （通过轮询此时发送 joinGroupRequest 的使用者），直到重新平衡超时到期，这等于 max.poll.interval.ms。

在重新平衡过程中，您仍然可以处理已存在但无法提交的消息，并使用此消息获取CommitFailedException：

无法完成提交，因为该组已经重新平衡并将分区分配给另一个成员。这意味着后续调用轮询（）之间的时间比配置的max.poll.interval.ms长，这通常意味着轮询循环在消息处理上花费了太多时间。您可以通过增加会话超时或减少轮询（）中返回的批次的最大大小来解决这个问题max.poll.records.

有关更多信息，请查看此。