Kafka消费者再平衡算法

Question

有人能告诉我Kafka消费者的再平衡算法是什么吗？我想了解分区计数和消费者线程是如何影响这一点的。

非常感谢。

Answer 1

你可以阅读这个Kafka文档http://kafka.apache.org/documentation/#impl_brokerregistration消费者注册算法和消费者再平衡算法

正如它所说，每个消费者在重新平衡过程中会做以下事情：

1. For each topic T that C<sub>i</sub> subscribes to
2.   let P<sub>T</sub> be all partitions producing topic T
3.   let C<sub>G</sub> be all consumers in the same group as C<sub>i</sub> that consume topic T
4.   sort P<sub>T</sub> (so partitions on the same broker are clustered together)
5.   sort C<sub>G</sub>
6.   let i be the index position of C<sub>i</sub> in C<sub>G</sub> and let N = size(P<sub>T</sub>)/size(C<sub>G</sub>)
7.   assign partitions from i*N to (i+1)*N - 1 to consumer C<sub>i</sub>
8.   remove current entries owned by C<sub>i</sub> from the partition owner registry
9.   add newly assigned partitions to the partition owner registry
    (we may need to re-try this until the original partition owner releases its ownership)

并请注意：

如果消费者比分区多，一些消费者将根本得不到任何数据。在重新平衡过程中，我们尝试将分区分配给使用者，以减少每个使用者必须连接的代理节点的数量。

Answer 2

好的，现在有两种重新平衡算法-Range和RoundRobin。它们也被称为分区分配策略。

为了简单起见，假设我们有一个带有10个分区的主题T1，我们还有两个具有不同配置的消费者（为了更清楚起见）C1，其中num.streams设置为1，而C2中num.streams设置为2。

以下是如何使用范围策略：

Range按数字顺序排列可用分区，按字典顺序排列消费线程。所以在我们的例子中，分区的顺序将是0, 1, 2, 3, 4, 5, 6, 7, 8, 9，消费线程的顺序将是C1-0，C2-0，C2-1。然后分区的数量除以消费线程的数量，以确定每个消费线程应该拥有多少个分区。在我们的例子中，它不平均划分，所以线程C1-0将获得一个额外的分区。最终的分区分配如下：

C1-0获取分区0,1,2,3
C2-0获取分区4,5,6
C2-1获取分区7,8,9

如果有11个分区，那么这些使用者的分区分配将发生一些变化：

C1-0将获得分区0,1,2,3
C2-0将获得分区4,5,6,7
C2-1将获得分区8,9,10

就这样。

相同的配置不适用于RoundRobin策略，因为它要求订阅此主题的所有消费者的num.streams相等，所以假设两个消费者现在都将num.streams设置为2。与范围策略相比，这里的一个主要区别是，在重新平衡之前，你无法预测任务将是什么。下面是这将如何与循环策略一起工作：

首先，实际派遣前必须满足两个条件：

a） 每个主题在一个消费者实例中都有相同数量的流（这就是我在上面提到的每个消费者不同数量的线程将不起作用的原因）
b）组中每个消费者实例的订阅主题集都是相同的（我们这里有一个主题，所以现在这不是问题）。

当验证这两个条件时，主题分区对按hashcode排序，以减少将一个主题的所有分区分配给一个消费者的可能性（如果要消费的主题不止一个）。

最后，所有主题分区对都以循环方式分配给可用的使用者线程。例如，如果我们的主题分区最终将按如下方式排序：T1-5、T1-3、T1-0、T1-8、T1-2、T1-1、T1-4、T1-7、T1-6、T1-9和消费者线程是C1-0、C1-1、C2-0、C2-1，则分配如下：

T1-5转到C1-0
T1-3转到C1-1
T1-0转到C2-0
T1-8转到C2-1
此时已经没有更多的消费线程了，但是仍然有更多的主题分区，因此对消费线程的迭代将重新开始：
T1-2转到C1-0
T1-1转到C1-1
T1-4转到C2-0
<代码>T1-7转到C2-1
再一次：
T1-6转到C1-0
T1-9转到C1-1

此时，所有主题分区都已分配，每个使用者线程的分区数几乎相等。

希望这有帮助。