FLINK:Kafka源代码-重新启动时发现新主题时的重新启动策略

Question

我有一个临时作业，通过KafkaSource被配置为收听主题的正则表达式，类似于：

val topicPattern = "^(topic1|topic2|topic3)$"

Kafka Consumers Start Position配置设置为startFromLatest，如下所示：

val myConsumer = new FlinkKafkaConsumer<>(topicPattern, someProperties);
myConsumer.setStartFromLatest();  

我们通过配置传递topicPattern，有时一个新的Kafka制作人会生成数据，比如说topic4，然后我们通过添加这个新主题来更新配置，并使用保存点重新启动作业。

在本例中，我们注意到Kafka资料从一开始就阅读了这个新主题4。有人能解释为什么吗？Kafka是自动的。抵消重置属性启动？

Answer 1

据我所知，目前这就是Flink Kafka消费者的工作原理，如果它从保存点恢复，所有不属于保存点的主题将自动设置EARLIEST偏移量。这很可能是一个错误，所以我正在为此创建一个错误报告。