Flink Kafka用户偏移量在作业重新启动时重置为0

Question

我遇到的问题是，当Kafka和Flink作业重新启动时，Flink Kafka消费者偏移量会重置为0，因此即使我启用了检查点并且我在Flink作业中启用了精确一次语义学，数据也会被重新处理。

这是我的环境详细信息

< li >在Kubernetes下奔跑 < li>Kafka源主题有10个分区，没有复制。 < li >Kafka有三个经纪人。 < li>Flink checkpointing启用了恰好一次语义。 < li>Flink版本为1.12 < li>Flink通过负载平衡器连接到Kafka

只有当源主题有多个分区并且Flink无法连接到分区分布的所有3个代理时，才会出现问题。只有Flink最初连接到的代理中不可用的分区，偏移量才会重置为0。如果我在所有3个代理都可用后等待重新启动Flink作业，则没有问题。这是Kafka消费者设置

auto.offset.reset:最早隔离级别:read_committed

我还在KafkaConsumer上启用了setStartFromGroupOffsets和setCommitOffsetsOnCheckpoints。

请注意，我确保主题中的所有数据都被作业使用，并且Flink通过验证Kafka中提交的偏移量成功地检查了数据。非常感谢任何帮助解决此问题。

我不知道这是Flink问题还是Kafka客户端问题。任何帮助都将不胜感激。

Answer 1

我认为从这样一个没有任何复制设置的设置中得到任何保证是不现实的。