为什么新消费者群体的Kafka消费者(0.10.0.0)会看到旧的/以前发布的消息？

Question

我有一个制作人发布一个名为“MyTopic”的主题的消息。我有两个不同的消费者组中的两个消费者在听这些消息。我按以下顺序开始这两个消费者和生产者。

1）启动组“GROUP1”中的使用者%1%2）启动生产者以发布数百条消息

过了一段时间，我检查消费者1的偏移量，这与我预期的一样：

/opt/kafka2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeeper localhost:2181--topic mytopic--group group1

输出：

/opt/kafka2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeeper localhost:2181--topic mytopic--group group2

输出：组主题Pid偏移量logSize滞后所有者组2 mytopic 0 369 42 369 42 0 none

对于任何其他拥有新消费群体的消费者来说，也存在同样的问题。为什么在消息发布后加入一个新的消费者组的消费者，即使在主题上存在消息（即，还没有删除），也看不到旧的消息？

Answer 1

您需要将使用者配置中的参数设置auto.offset.reset更改为值“最早”--默认值为“最新”，告诉新使用者在日志的当前结尾开始使用。