Kafka消费者的第一次民意调查没有检索主题消息。会出什么问题？

Question

我有一个简单的Kafka 2.4.1(Confluent 5.4.1)安装程序在本地Docker中运行。并且我使用了用Java编写的测试生产者和测试使用者。该代码可在GitHub中获得。

单元测试做：

• 生成器向单个分区主题生成一条消息
• 用户订阅该主题并在Kafka中查询可用消息

问题是：使用者的第一次运行将跳过主题中已经生成的可用消息。真正的问题是，那些错过的消息会丢失（从使用者的角度来看：偏移量被移动到主题中的最新位置，滞后为0<-这在Kafka工具中都是可见的）

第一次运行后的结果是：

-------------------------------------------------------
 T E S T S
-------------------------------------------------------
Running com.example.TestKafkaProducer
Timestamp: Thu Mar 26 10:26:51 CET 2020
Offset: 0
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.686 sec
Running com.example.TestKafkaConsumer
Record count: 0
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.561 sec

Results :

Tests run: 2, Failures: 0, Errors: 0, Skipped: 0

第二轮测试给出：

-------------------------------------------------------
 T E S T S
-------------------------------------------------------
Running com.example.TestKafkaProducer
Timestamp: Thu Mar 26 10:28:08 CET 2020
Offset: 1
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.538 sec
Running com.example.TestKafkaConsumer
Record count: 1
offset = 1, key = static-key, value = this is the string message at Thu Mar 26 10:28:08 CET 2020
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.138 sec

Results :

Tests run: 2, Failures: 0, Errors: 0, Skipped: 0

我试着用不同的变体修修补补，结果总是一样的：

null

Answer 1

查看GitHub存储库中的代码，您似乎没有设置使用者配置auto.offset.reset。根据文档，此设置默认为lates。这意味着，如果您的测试主题的代理不知道消费者组，它将只等待新的传入消息。因此，事先由生产者测试编写的消息不能由TestConsumer使用。

本文档很好地解释了Kafka中的消费者群体概念。