Flink翻滚窗口延迟触发getResult与AscendingTimestampExtractor

Question

我正在使用翻滚窗口（5分钟）和AscendingTimestampExtractor，因为我的源代码来自Kafka。但是窗口总是运行超过5分钟。有人能建议吗？

Answer 1

让我们想象一下，我们正在讨论9:00到9:04.999之间的时间间隔。通过处理时间窗口，当一天的时间达到9:05时，窗口将被触发。

既然您提到了AscendingTimestampExtractor水印赋值器，我假设您使用的是事件时间窗口（而不是处理时间窗口）。当你说窗口运行时间超过5分钟时，我想你的意思是，结果不会在9:05立即产生。

在事件时间窗口的情况下，9:05关闭的窗口将等待至少9:05的水印。这样的水印必须等待时间戳至少为9:05的事件，这意味着无论您的事件经历何种延迟，窗口触发都会延迟。

其中一些延迟是由于Flink Kafka消费者摄取事件之前的管道部分。Flink会导致一些额外的延迟：特别是自动水印间隔（默认为200毫秒）和网络缓冲（默认为100毫秒）可能会产生明显的影响。

请注意，如果您使用keyBy操作并行管道，那么速度最慢的Kafka消费者将阻止所有人使用他们的水印。如果使用逐分区水印，则最慢的分区将确定整个水印。