Kafka分区和吞吐量

Question

无论从什么角度来看，它都不是。

假设我有两个消费者，它们以每秒“10”条消息的速度从给定主题中消耗数据。现在，不管它们是从单个分区还是从两个不同的分区进行消耗；我的吞吐量将保持不变，每秒20条消息。

我觉得我一定漏了一些内部工作的细节，你能帮我解释一下kafka分区（多个）是如何帮助提高固定用户数量的吞吐量的，而不是单个kafka分区。

Answer 1

https://kafka.apache.org/intro

当我开始学习Kafaka的时候；我也有同样的问题。下面的解释将帮助您回答您的问题：

假设你有一个主题a，有三个分区:X，Y&Z。

1. 如果您的消费者组有3个消费者，而您添加了一个新的消费者，那么它将是理想的。使用者组中的使用者数<=分区数。
2. 如果您的消费者组有2个消费者，而您添加了一个新的消费者，则将触发重新平衡。Kafka将为您的使用者分配一个分区。
3. 如果这是全新的消费者组，那么kafka将把所有分区分配给这个新的消费者。

现在让我们假设；您的使用者是单线程的，处理一条消息大约需要1秒，那么在第三种情况下，您的吞吐量将是1消息/秒。

在情况2中；每秒3味精。因为每个使用者都在监听不同的分区和处理数据。