Kafka流再平衡行为

Question

我知道在你的流中的任何时间点都可能发生再平衡。当它发生时，由于没有提交给定偏移量的最新偏移量，可能会发生事件的重新处理。

Kafka流是否允许在重新平衡发生之前完成任何飞行中处理？我的意思是，你的应用程序正在消耗一个记录（在你的过程方法内部），发生一个再平衡事件。该处理是否立即中止或允许处理方法完成？

一个具体的例子是

public void process(String key, String value) {
    String result = computeSomething(key,value) <---rebalance triggered here in time
    stateStore.put(key,result);
    context.forwared(key, result);
 }

最后一次计算是否会在状态存储中结束并转发到接收器主题？因此，这意味着当重新平衡完成时，新分区将具有存储中的最后一个值，但仍有可能“重新处理”该主题之外的消息？

Answer 1

如果重新平衡被触发，（底层消费者的）后台心跳线程将只在客户端设置一个标志。处理将正常继续。处理完成后，将调用消费者#轮询（）并评估重新平衡标志。如果设置了标志，所有挂起的对状态存储和主题的写入将被刷新，输入主题偏移将被提交，随后重新平衡将继续。

唯一的情况是，如果您的处理时间比max.poll长。间隔ms——如果在此超时之前未调用poll（）（例如，您的process（）方法需要更长时间），则应用程序将被视为“死机”，重新平衡仍将继续。在这种情况下，下次调用poll（）时，应用程序将检测到它退出了消费者组，并将重新加入该组，即触发新的重新平衡。