Kafka的消费群体是如何运作的？

Question

嗨，我正在使用KafkaCLI，以清楚地了解Kafka的工作原理。我对消费者群体感到困惑。我用三个分区创建了主题。我将创建producer，为主题提供一些数据。第一次我添加了一些数据，如下所示。

kafka-console-producer --broker-list 127.0.0.1:9092 --topic users 
>user1
kafka-console-producer --broker-list 127.0.0.1:9092 --topic users 
>user2
kafka-console-producer --broker-list 127.0.0.1:9092 --topic users 
>user3

现在我的理解是user1、user2、user3会随机到三个不同的分区。

创建消费群时，如下所示。

kafka-console-consumer --bootstrap-server localhost:9092 --topic users  --group user_group

这将给我所有的user1、user2、user3。

现在，在一个消费者组中，我可以有许多消费者。如果消费者组中有三个消费者，则第一个消费者将从partition1读取，第二个消费者将从consumer2读取，然后第三个消费者将从consumer3读取。这是我目前的理解。如果我的理解正确，那么演示上述行为的cli命令是什么？我只知道上面提到的一个命令将返回所有数据？如果我的上述理解是正确的，那么如果所有消费者都需要所有数据，那么如何获取？有人能帮我理解这个概念吗。任何帮助都将不胜感激。谢谢

Answer 1

您需要同时运行三个控制台使用者和组选项，以观察您期望的行为。

分区随机分配给组成员，分区1不一定会分配给第一个使用者，依此类推。组中的第一个也是唯一一个使用者将始终获得所有分区，当第二个使用者加入时，其中一个使用者正在读取两个分区

Answer 2

让我们从理解分区与消费者的关系开始

假设我有一个名为T1的主题，有4个分区和1个消费者组。在这种情况下，使用者组1将被分配到所有分区中的使用者-

现在，当我们将另一个消费者添加到同一消费者组时，分区将在他们之间均匀分布-

当添加另一个消费者时，依此类推，直到该主题中的分区数量-

在给定主题中添加超过分区数量的更多使用者将导致空闲使用者-

这基本上意味着您受单个主题中分区数量的限制。

消费者如何加入消费者组？
当消费者想要加入消费者组时，他会向组协调员发送JoinGroup请求。第一个加入组的人成为组长，他负责根据预定义的分配策略将分区的子集分配给每个消费者。
在决定每个消费者的分区分配后，消费者领导者将向组协调员发送分配分区列表，他将将此信息发送给组内的所有消费者。

如何选择分配策略？
Kafka支持少数可以使用partition.assignment.strategy参数html" target="_blank">控制的分配策略。
策略是RangeAssignor、RoundRobinAssignor和StickyAssignor，默认策略是RangeAssignor。

你可以在这篇有用的博文中了解更多关于他们的信息。

如何查看它
我建议使用Kafka管理器之类的工具，可以帮助您可视化消费者与主题的关系。