FlinkKafkaConsumer082汽车。抵消重置设置不起作用？

Question

我有一个Flink流媒体程序，可以读取Kafka主题的数据。在程序中，自动。抵消重置设置为“最小”。在IDE/Intellij IDEA中进行测试时，程序始终可以从主题的开头读取数据。然后，我建立了一个flink/kafka集群，并将一些数据生成kafka主题。我第一次运行流媒体作业时，它可以读取主题开头的数据。但在那之后，我停止了流式处理作业并再次运行它，它将不会读取主题开头的数据。如何使程序始终从主题的开头读取数据？

    Properties properties = new Properties();
    properties.put("bootstrap.servers", kafkaServers);
    properties.put("zookeeper.connect", zkConStr);
    properties.put("group.id", group);
    properties.put("topic", topics);
    properties.put("auto.offset.reset", offset);

    DataStream<String> stream = env
            .addSource(new FlinkKafkaConsumer082<String>(topics, new SimpleStringSchema(), properties));

Answer 1

如果您想始终从头开始读取，则需要在流上下文中禁用检查点。

还可以在消费者属性级别禁用它：

使可能汽车提交=false或auto。犯罪enable=false（取决于Kafka版本）

另一种方法：您可以保持ckeckpointing以进行故障切换，但可以生成新组。需要从头开始阅读时的id（有时只需清理zookeeper）