手动/分配分区情况下的Kafka消费者再平衡

Question

我对再平衡有些怀疑。现在，我正在手动将分区分配给使用者。因此，根据文件，如果消费者离开/崩溃在一个消费群体中，就不会有再平衡。

假设同一组中有3个分区和3个使用者，每个分区都是手动分配给每个使用者的。一段时间后，第三个消费者倒下了。既然没有再平衡，我可以采取什么措施来确保停机时间最小化？我是否需要更改前两个分区中任何一个的配置，以从第三个分区或其他分区开始使用？

Answer 1

虽然可能有上下文使该方法有效，如文中所述，但我对你的方法有点怀疑。

确保停机时间最小化的最佳方法是让Kafka代理和zookeeper做他们擅长的事情，在消费者中管理工作负载（分区），包括在消费者停机时重新分配分区。

您的最佳路径可能是使用OnPartitionsRevoked和OnpartitionsAssigned事件来处理假设新分区所需的任何逻辑（有关这些事件的更多详细信息，请参阅JRs链接）。

我将描述我最近遇到的一个用例，希望它与您的用例相关。我最近有5个消费者需要5000万个对象的内存缓存。在没有分区的情况下，每个使用者都有自己的缓存，从而产生了2.5亿个对象。为了将这个数字减少到原来的5000万，我们可以使用onpartitionsrevoked事件清除缓存，并使用onassigned事件为分配的分区重新填充相关缓存。

除了使用这两个处理程序，如果您真的想手动分配分区，那么您必须自己完成所有编排：

1. 如果其他消费者中的一个出现故障，则需要进行监控
2. 用来捡起死去的消费者的分区并对其进行处理的东西
3. 协调消费者之间的沟通，以便在死去的消费者再次活着时进行沟通，这样它就可以重新开始工作

从列表中你可能可以看出，如果你强迫自己走这条路，你将面临一个真实的伤害世界，你可能不会比Kafka经纪人做得更好——有一个完整的企业，它的全部重点是开发和维护Kafka，所以你不必处理所有的复杂性。

Answer 2

我不知道你为什么要手动为消费者分配分区？

我认为你需要写一篇重新平衡的文章。https://kafka.apache.org/0100/javadoc/org/apache/kafka/clients/consumer/ConsumerRebalanceListener.html

我的建议是：只要让Kafka决定哪个消费者会听哪个分区，你就不用担心这个问题了。