kafka闪烁时间戳事件时间和水印

Question

我正在阅读《Stream Processing with Apache Flink》一书，书中说：“从版本0.10.0开始，Kafka支持消息时间戳。当从Kafka版本0.10或更高版本读取时，如果应用程序以事件时间模式运行，使用者将自动提取消息时间戳作为事件时间戳*“因此在ProcessElement函数中，调用context.timestamp()将默认返回Kafka消息时间戳？请提供一个简单的示例，说明如何实现AssignerWithPeriodicalWatermarks/AssignerWithPunctuatedWatermarks（基于消耗的kafka消息时间戳提取（和构建水印）。

如果我使用TimeCharacteristic.ProcessingTime，ctx.timestamp()是否返回处理时间，在这种情况下，它是否与Context.TimerService（）.CurrentProcessingTime()类似。

谢谢你。

Answer 1

Flink Kafka consumer为您处理这件事，并将时间戳放在需要的地方。在Flink1.11中，您可以简单地依赖于此，尽管您仍然需要注意提供一个WatermarkStrategy来指定无序性（或断言时间戳是有序的）：

java prettyprint-override">FlinkKafkaConsumer<String> myConsumer = new FlinkKafkaConsumer<>(...);
myConsumer.assignTimestampsAndWatermarks(
    WatermarkStrategy.
        .forBoundedOutOfOrderness(Duration.ofSeconds(20)));

在早期版本的Flink中,您必须提供一个时间戳分配器的实现,它看起来如下所示：

public long extractTimestamp(Long element, long previousElementTimestamp) {
    return previousElementTimestamp;
}

此版本的extracttimestamp方法传递的是StreamRecord中以PreviouSelementTimestamp的形式存在的时间戳的当前值，在本例中，该值将是Flink Kafka使用者放在那里的时间戳。

Flink 1.11文档
Flink 1.10文档

至于ctx.timestamp()在使用TimeCharacteristic.ProcessingTime时返回的内容，在这种情况下，此方法返回NULL。（语义上，是的，时间戳就好像是当前的处理时间，但这不是它的实现方式。）