Kafka消费群体行为不平等

Question

试图理解Kafka中的消费者群体行为。示例4分区可用。在消费者方面，消费者群体控制着4个消费者。在这种情况下，在消费者组中的4个消费者中，只有一个消费者始终收到消息。其他人总是无所事事。可能的原因是什么？

是否所有分区都保存相同的消息？或者所有分区都有相同的消息？或者我们可以认为分区不是均匀分布的吗？

Answer 1

其他人总是无所事事。可能的原因是什么？

默认情况下，对于4个分区和4个使用者，这是不可能的。您必须手动将组中的所有4个使用者分配到单个主题分区。或者，在为这些使用者分配的分区中没有数据，因此它们“看起来”空闲，但仍然轮询0条记录。

是否所有分区都保存相同的消息？

消息包含键和值。如果您的密钥为null，则同一消息值可能存在于多个分区上。如果您有非空键，那么使用DefaultPartitioner的同一消息（同一键）不可能位于不同的分区上。

还是所有分区都有相同的消息？

不，主要是因为即使只是时间戳和偏移量在多个分区上也不匹配

我们可以认为分区不是均匀分布的吗？

如果您有自己的分区器或非空键，那么可以创建“热”/“胖”分区，在其中它将与其他分区不平衡。使用空键时，生产者将在所有分区上均匀分布。