与Flink从Kafka主题开始

Question

如何确保我总是从Kafka主题的一开始就与Flink一起消费？

Kafka0.9。x consumer是Flink 1.0.2的一部分，它似乎不再是Kafka，而是Flink来控制偏移量：

Flink在内部快照偏移量，作为其分布式检查点的一部分。Kafka/动物园管理员promise的补偿只是为了让外界对进展的看法与Flink对进展的看法保持同步。通过这种方式，监控和其他工作可以了解Flink Kafka消费者对某个话题的理解程度。

这就是我所做的，但是我的Flink程序总是从它停止的地方开始，并且不会按照配置指示返回到开始：

val props = new Properties()
props.setProperty("bootstrap.servers", "localhost:9092");
props.setProperty("group.id", "myflinkservice")
props.setProperty("auto.offset.reset", "earliest")

val incomingData = env.addSource(
  new FlinkKafkaConsumer09[IncomingDataRecord](
    "my.topic.name",
    new IncomingDataSchema,
    props
  )
)

Answer 1

我想你可以通过指定一个随机组来解决这个问题。id：

val props = new Properties()
props.setProperty("bootstrap.servers", "localhost:9092");
props.setProperty("group.id", s"myflinkservice_${UUID.randomUUID}")
props.setProperty("auto.offset.reset", "smallest") // "smallest", not "earliest"

auto。抵消重置仅在ZooKeeper中没有可用的初始偏移量时有效。

Answer 2

使用：

consumer.setStartFromEarliest();