Spring Kafka 消费者：有没有办法使用 Kafka 0.8 从多个分区读取？

Question

这是一个场景：我知道，使用与Spring kafka相关的最新API（如Spring集成kafka 2.10），我们可以执行以下操作：

@KafkaListener(id = "id0", topicPartitions = { @TopicPartition(topic = "SpringKafkaTopic", partitions = { "0" }) })

@KafkaListener(id = "id1", topicPartitions = { @TopicPartition(topic = "SpringKafkaTopic", partitions = { "1" }) })

以及来自与相同kafka主题相关的不同分区的读取。

我想知道我们是否可以使用同样的方法，例如spsping-集成-Kafka1.3.1

我没有找到任何关于如何做到这一点的提示（我对xml版本很感兴趣）。

Answer 1

这个定义对我帮助最大:

在阿帕奇Kafka中，消费者群体概念是实现两件事的一种方式:

将消费者作为同一消费者群体的一部分意味着提供“竞争消费者”模式，来自主题分区的消息通过该模式在群体成员中传播。每个使用者从一个或多个分区（“自动”分配给它）接收消息，而其他使用者（分配给不同的分区）不会接收到相同的消息。通过这种方式，我们可以将消费者的数量扩展到分区的数量（一个消费者只读取一个分区）；在这种情况下，加入组的新用户将处于空闲状态，而不会被分配给任何分区。

将消费者作为不同消费者组的一部分意味着提供“发布/订阅”模式，其中来自主题分区的消息被发送给不同组中的所有消费者。这意味着在同一个消费者群体中，我们会有上面解释的规则，但是在不同的群体中，消费者会收到相同的消息。当不同的应用程序对主题中的消息感兴趣，并以不同的方式处理它们时，这是很有用的。我们希望所有感兴趣的应用程序都能收到来自该主题的相同消息。

从这里开始，不要以错误的方式使用Apache Kafka消费群体！

Answer 2

在Kafka中，你可以决定从哪个主题阅读，但我们不能决定从哪个分区阅读，这取决于Kafka的决定，以避免多次阅读同一条消息。

根据Kafka的定义，消费者不会为了阅读而共享分区。

如果使用者多于分区，则某些使用者将保持空闲状态，并且不会从任何分区使用。例如，如果我们有 5 个使用者和 4 个分区，则 1 个使用者将保持空闲状态，并且不会使用来自 Kafka 代理的数据。

实际的分区分配是由kafka代理（组协调员）和领导者消费者完成的。我们无法控制。