Kafka再平衡算法是否平衡了主题？

Question

Kafka再平衡算法是否适用于不同主题？

假设我有5个主题，每个主题都有10个分区，同一消费者组中有20个消费者应用程序实例，每个实例都订阅了这5个主题。

Kafka会尝试在20个实例中平衡50个分区吗？

还是它只在一个主题内保持平衡，因此10个第一个实例可能（或可能）接收所有50个分区，而其他10个实例可能保持空闲？

我知道，在过去，Kafka并没有在不同的主题之间取得平衡，但现在的版本呢？

Answer 1

您可以选择RoundRobin作为分区赋值器，而不是默认的范围赋值，以获取所有实例。

范围分配：

Range assignor处理每个主题，它将根据消费者的总数将分区划分为几个范围。然后，所有消费者都将按照字典顺序进行排序，每个消费者将进行一系列的分区。

对于您的情况，每个主题有10个分区，总共有20个消费者。然后协调器将为前10个消费者中的每一个分配1个分区。在这种情况下，您将得到10个空闲消费者。

每个主题都会发生同样的事情，所以你会看到前10个消费者被分配了5个分区（每个主题1个），其他10个将处于空闲状态。

循环分配：

Round Robin assignor将列出消费者组订阅的所有主题的所有分区。每个消费者将轮流使用分区。

对于您的情况，coordinator将列出所有分区，如：

t1p1, t1p2, t1p3 ... t5p9, t5p10

所有20个消费者将按此顺序进行分区，因此最终您将获得：

Consumer1: t1p1, t3p1, t5p1
Consumer2: t1p2, t3p2, t5p2
.
.
.
Consumer 10: t2p10, t4p10

它可能比范围赋值器更平衡。

Answer 2

消费者实例到分区的分配取决于消费者配置分区。分配策略。它的默认值是class org。阿帕奇。Kafka。客户。消费者RangeSignator但是你也可以选择RoundRobinAsignator，StickyAssignator，或者你甚至可以通过扩展抽象类AbstractPartitionAssignator来建立自己的策略。

我认为就你的情况而言，循环分配策略将导致更平衡的分配。战略范围和循环赛之间的差异如下图所示。

在您的情况下（每个主题有10个分区和20个消费者实例），Range策略将导致10个实例空闲。然而，使用RoundRobin策略将使所有实例保持忙碌，因为它遵循以下原则：分区将均匀分布，分配之间的最大差异应该是一个分区。

请注意，消费者对主题分区的分配不同于重新平衡。当

>

新的消费者加入了ConsumerGroup

消费者更改其主题订阅

订阅主题中的更改，例如分区的增加/减少。

在重新平衡期间，整个消费组的消费将暂停，并且根据您选择的策略再次进行分配。