session.timeout.ms和max.poll.interval.ms之间的差异（对于Kafka>=0.10.1)

Question

我不清楚为什么我们同时需要session.timeout.ms和max.poll.interval.ms以及我们何时使用其中之一或两者？这两个设置似乎都指出了协调器在假定消费者已死亡之前等待从消费者获取心跳的时间上限。

另外，它在基于KIP-62的0.10.1.0+版本中的表现如何？

Answer 1

在KIP-62之前，只有session.timeout.ms（即Kafka0.10.0和更早版本）。max.poll.interval.ms通过KIP-62（Kafka0.10.1的一部分）引入。

KIP-62通过后台心跳线程将心跳从调用解耦到poll()，允许比心跳间隔更长的处理时间（即两个连续poll())。

假设处理一条消息需要1分钟。如果heartbeat和poll是耦合的（即在KIP-62之前），则需要将session.timeout.ms设置为大于1分钟，以防止使用者超时。然而，如果消费者死亡，检测失败的消费者也需要超过1分钟的时间。

KIP-62解耦轮询和心跳，允许在两个连续轮询之间发送心跳。现在您有两个线程在运行，心跳线程和处理线程，因此，KIP-62为每个线程引入了超时。session.timeout.ms用于心跳线程，而max.poll.interval.ms用于处理线程。

假设您设置了session.timeout.ms=30000，因此，使用者心跳线程必须在此时间到期之前向代理发送一个心跳。另一方面，如果处理单个消息需要1分钟，则可以将max.poll.interval.ms设置为大于1分钟，以使处理线程有更多时间处理消息。

如果处理线程死亡，则需要max.poll.interval.ms来检测。但是，如果整个使用者死亡（并且一个死亡的处理线程很可能会使包括heartbeat线程在内的整个使用者崩溃），则只需要session.timeout.ms来检测它。

这样做的目的是，即使处理本身需要相当长的时间，也可以快速检测出失败的消费者。