在Apache Kafka中，为什么使用者实例不能比分区多呢？

Question

我正在了解Kafka，阅读这里的导言部分

https://kafka.apache.org/documentation.html#导言

特别是关于消费者的部分。在导言的倒数第二段中，案文如下

Kafka做得更好。通过在主题中具有并行性（分区）的概念，Kafka能够在消费者进程池上提供排序保证和负载平衡。这是通过将主题中的分区分配给使用者组中的使用者来实现的，以便每个分区由该组中的恰好一个使用者使用。通过这样做，我们确保使用者是该分区的唯一读取器，并按顺序使用数据。由于有许多分区，这仍然平衡了许多使用者实例的负载。但是请注意，使用者实例不能比分区多。

我的困惑源于最后那句话，因为在作者描述了两个消费者组和一个4分区主题的图片中，消费者实例比分区多！

使用者实例不能比分区多也是没有意义的，因为分区会小得令人难以置信，而且为每个使用者实例创建一个新分区的开销似乎会使Kafka陷入困境。我知道分区用于容错和减少任何一台服务器上的负载，但是上面的句子在分布式系统的上下文中没有意义，因为分布式系统应该能够一次处理数千个使用者。

Answer 1

好的，要理解它，需要理解几个部分。

1. 为了提供订购总订单，消息只能发送给一个消费者。否则效率极低，因为在发送下一个消息之前，它需要等待所有使用者接收到消息:

然而，尽管服务器按顺序发送消息，但消息是异步传递给使用者的，因此它们可能会在不同的使用者上无序到达。这实际上意味着在存在并行消耗的情况下会丢失消息的排序。消息传递系统通常通过“独占消费者”的概念来解决这一问题，该概念只允许一个进程从队列中消费，但当然这意味着处理过程中不存在并行性。

另外，您认为的性能损失（多个分区）实际上是性能增益，因为Kafka可以完全并行地执行不同分区的操作，同时等待其他分区完成。

开头介绍了两种情况：

如果所有使用者实例都具有相同的使用者组，那么这就像传统队列在使用者上平衡负载一样工作。