Kafka使用者配置中heartbeat.interval.ms和session.timeout.ms之间的差异

Question

我当前运行的是Kafka0.10.0.1，两个值的对应文档如下：

heartbeat.interval.ms-在使用Kafka的组管理设施时，向消费者协调器发送心跳的预期间隔时间。heartbeat用于确保消费者的会话保持活动，并在新消费者加入或离开组时促进重新平衡。该值必须设置为低于session.timeout.ms，但通常不应设置为高于该值的1/3。可以调得更低，以控制正常再平衡的预期时间。

session.timeout.ms-在使用Kafka的组管理工具时用于检测故障的超时。当会话超时内没有接收到使用者的心跳时，代理会将使用者标记为失败并重新平衡组。因为只有在调用poll（）时才发送心跳，所以较高的会话超时允许在使用者的poll循环中有更多的时间处理消息，代价是检测硬故障的时间较长。另请参阅max.poll.records以获得控制轮询循环中处理时间的另一个选项。

我不清楚为什么文档建议将heartbeat.interval.ms设置为session.timeout.ms的1/3。由于只有在调用poll()时才发送心跳，因此在完成对当前记录的处理时，使这些值相同是否没有意义？

Answer 1

代码做了一个硬限制，您不能将heartbeat.interval.ms设置为不小于request.timeout.ms，否则Kafka会抱怨“heartbeat必须设置为低于会话超时”。

如果您真的将这两个配置设置为相同的值，那么可能出现的情况是网络客户端将不再进行heartbeat，因为会话超时几乎总是在进行heartbeat之前发生。

至于那1/3，我更倾向于认为这是一个启发式的值。

Answer 2

heartbeat.interval.ms指定消费者发送心跳信号的频率。因此，如果这是3000 ms（默认），那么每隔3秒，使用者将向代理发送心跳信号。

session.timeout.ms指定代理需要从使用者获取至少一个心跳信号的时间。否则，它会将消费者标记为死亡。默认值10000毫秒（10秒）可在经纪人将消费者标记为死亡之前，防止丢失三个心跳信号。

在一个重负载的网络设置中，错过很少的心跳信号是正常的。所以建议等错过3个心跳信号后再将消费者标记为死亡。这就是1/3推荐的理由。