Kafka消费者可以从所有分区消费吗

Question

我有一个多分区主题，由多个使用者（同一组）使用。我的目标是最大化消费处理，即任何消费者都可以消费来自任何分区的消息。

我知道这看起来是不可能的，因为只有一个消费者可以从一个分区中消费。

有没有可能使用REST代理来实现这一点？例如，轮询所有代理消费者实例。

谢了。

Answer 1

最大化使用处理的最佳方法是让一个使用者（同一组）从每个分区读取数据。

作为改进措施，您还可以查看：

• 分区数：您可以增加它们，以便能够添加更多使用者并增加吞吐量
• 如何在分区之间平衡消息，错误的键选择可能导致消息全部进入同一分区

另外，作为提醒，分区和使用者组只允许一个使用者，以避免并发问题。如果 2 个使用者提交不同的偏移量，会发生什么情况？-

Answer 2

默认情况下，Kafka 使用者配置为从尽可能多的分区使用。如果同一主题上有多个同时使用的使用者，则使用相同的使用者组 ID，Kafka 将自动在所有这些使用者之间分配卷。这是设计使然，因此您可以通过添加更多使用者来快速扩展消费。

您可以选择将kafka消费者指示为仅来自特定分区的消费者，甚至包括一个，但您必须显式执行此操作。