消费者再平衡在Kafka是如何运作的？

Question

当一个新的消费者/borker被添加或下降时，Kafka会触发一个再平衡操作。Kafka是在重新平衡封锁行动。Kafka的消费者是不是在一个再平衡操作正在进行的时候就被封锁了？

Answer 1

那就看你说的“阻塞”是什么意思了。如果您的意思是“触发再平衡时现有连接是否关闭”，那么答案是肯定的。目前的Kafka再平衡算法不幸是不完善的。

以下是消费者再平衡过程中发生的情况。

假设我们有一个包含10个分区（0-9）的主题，一个使用者（让它命名为consumer1)使用它。当出现第二个使用者(consumer2)时，两个使用者的重新平衡任务都会触发(consumer1获取一个事件，consumer2执行初始重新平衡）。现在consumer1关闭了所有现有的连接（甚至是即将重新打开的连接），并释放了Zookeeper中所有10个分区的分区所有权。

同时，consumer2也运行分区分配算法，并尝试在Zookeeper中索取他的分区。只有当consumer1释放了这些分区上的所有权时，声明才会成功。当声明成功时，Consumer2开始提取，或者如果它未能在给定的重试次数内声明分区，则会出现Rebalance failed after n retries异常。

正如您所注意到的，consumer1没有关闭连接并释放其不再拥有的分区的所有权，而是不必要地关闭他的所有连接，并以较低数量的分区重新启动。与添加分区的情况相同（当我们通过通配符过滤器消费时，出现了新的主题）--所有连接都被关闭，然后再次打开，而不是仅仅打开新的连接。

所以我希望这回答了你的问题--当再平衡开始时，取舍就会停止。