Kafka消费者从一开始就不消费

Question

我在本地机器上安装了Kafka，并启动了zookeeper和一个代理服务器。

现在我有一个单独的主题，描述如下：

~/Documents/backups/kafka_2.12-2.2.0/data/kafka$ kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic edu-topic --describe
Topic:edu-topic PartitionCount:3    ReplicationFactor:1 Configs:
    Topic: edu-topic    Partition: 0    Leader: 0   Replicas: 0 Isr: 0
    Topic: edu-topic    Partition: 1    Leader: 0   Replicas: 0 Isr: 0
    Topic: edu-topic    Partition: 2    Leader: 0   Replicas: 0 Isr: 0

我有一个生产者在消费者启动之前产生了一些消息，如下所示：

~/Documents/backups/kafka_2.12-2.2.0/data/kafka$ kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic edu-topic
>book 
>pen 
>pencil
>marker
>

当我使用--从头开始选项启动消费者时，它不会显示生产者生成的所有消息：

~/Documents/backups/kafka_2.12-2.2.0/data/kafka$ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic edu-topic --group edu-service --from-beginning

但是，它显示的是新添加的消息。

我在这里怎么了？有什么帮助吗？

Answer 1

国旗

--from-begining

将影响您的组使用者在首次启动/创建时的行为，或者存储的（上次提交的使用量）偏移量已过期（或者当您尝试重置存储的偏移量时）。

否则，组使用者将仅以存储的（上次提交）的偏移量继续。

请考虑从手册中获取更多信息。

Answer 2

因为你使用的是旧的消费者群体——从一开始仅适用于尚未记录在Kafka集群上的新消费群。

要从头开始再次消费，您可以:

• 使用标记--从头开始
启动一个新的消费者组（更改组名）
• 重置此消费者组的偏移。我还没试过，但你可以在这里测试一下

Answer 3

--from begin：如果使用者还没有确定的消费偏移量，则从日志中出现的最早消息开始，而不是最新消息。

Kafka消费者第一次使用-从头开始如果你重试，我怀疑你做了，它将从它离开的地方开始。您可以使用以下任一选项再次消费该邮件

1. 使用以下方法重置消费者组偏移

Kafka-streams-application-reset . sh-application-id edu-服务-输入-主题edu-主题-引导-服务器localhost:9092-zookeeper 127 . 0 . 0 . 1:2181

然后从头开始重试

Kafka-console-consumer . sh-bootstrap-server localhost:9092-topic edu-topic-group edu-service-从头开始

kafka控制台消费者。sh--引导服务器localhost:9092--主题edu主题--组新的edu服务--从头开始

Kafka-console-consumer . sh-bootstrap-server localhost:9092-offset 0-partition 0-topic edu-topic

-偏移