librdkafka C API Kafka Consumer 无法正确读取所有消息

Question

我正在使用< code > librdkafka C API consumer(特别是使用< code > rd _ Kafka _ consumer _ poll 来读取，在此之前我确实调用了< code > rd _ Kafka _ poll _ set _ consumer )

我看到的问题是，在我的谷歌测试中，我做了以下操作

>

给Kafka写3条信息

初始化/启动kafka消费者(< code > rd _ Kafka _ consumer _ poll )

在recycle_cb中，我将每个分区偏移量设置为RD_KAFKA_offset_STORED，并将它们分配给句柄

在这一点上，我相信它应该读取3条消息，但它只读取最后一条消息，但令人惊讶的是，每个分区的偏移量已经更新！

我在这里使用 Kafka 消费者遗漏了什么吗？

还有一个问题是，我最初认为存储的偏移量在 kafka 代理中，并且主题消费者组 id 分区组合存在唯一的偏移量。

所以我认为不同的消费者群体阅读同一主题应该有不同的补偿。

但是，情况并非如此。当使用不同的消费者群体时，我总是从相同的偏移量读取。

我怀疑这可能与抵消promise有关，但不确定在何处解决这一问题。

有什么见解吗？

Answer 1

要查看的配置:< code>auto.offset.reset

来自 Kakfa 消费者文档：

当Kafka中没有初始偏移量或当前偏移量在服务器上不再存在时该怎么办

来自 librdkafka 文档：

当偏移量存储中没有初始偏移量或所需偏移量超出范围时要采取的操作：“最小”、“最早”-自动将偏移量重置为最小偏移量、“最大”、“最近”-自动重置偏移量为最大偏移量，“错误”-触发错误，通过使用消息并检查“消息”-

默认值为最新值。

此外

#define RD_KAFKA_OFFSET_STORED -1000

所以，您试图将分区偏移设置为-1000，这显然不是一个有效的偏移。显然，librdkafka在这种情况下读取了最后一条消息（我并没有检查代码）。