如果消费者更多是分区，kafka消费者如何工作

Question

谁能请解释和指导我链接或资源阅读关于Kafka消费者如何在下面的场景下工作。

>

一个有5个消费者的消费者组和3个分区的主题（Kafka是如何决定的）

一个消费者组有5个消费者，主题有10个分区（kafka如何分担负载）

两个消费者组和两个服务器的kafka集群，其中一个主题被划分在节点1和节点2之间，当来自不同组的消费者订阅到一个分区时，如何避免重复。

上面可能不是配置kafka时的最佳实践，但我需要知道它是如何处理的。

提前谢了。

Answer 1

分配分区的不是Kafka本身，而是消费者之一。第一个加入消费者组的人将被选为“领导者”，我们将开始为其他消费者分配分区。当然，每当一个新的消费者加入组时，Kafka“控制器”就会让领导消费者知道这一点，并开始重新平衡和重新分配分区。当一个消费者离开一个消费者群体时也是一样的。

为了确认使用者参与其中，分区分配的策略由使用者配置中的partition.assignment.strategy属性指定。默认值为RangeAssignor，而其他默认值为RoundRobinAssignor和StickyAssignor。您可以在这里找到更多关于它们如何工作的信息：

https://kafka.apache.org/21/javadoc/org/apache/kafka/clients/consumer/rangeassignor.html https://kafka.apache.org/21/javadoc/org/apache/kafka/clients/consumer/rangeassignor.html https://kafka.apache.org/21/javadoc/org/apache/clients/consumer/rangeasignor.html

也就是说，在您的场景中具体会发生什么？

1. 3个消费者将获得每个分区。其他2个将空闲。
2. 每个消费者将获得2个分区
3. 使用不同的消费者组意味着纯粹的pub/sub，其中消费者组获得相同的消息。在使用1个主题和2个分区（在2个代理上）的情况下，两个消费者分别位于一个不同的消费者组中，将从所有2个分区获得相同的消息。如果消费者是不同消费者群体的一部分，就无法避免重复，这就是Kafka的工作原理。