如何使用带有时间戳和水印分配器的Flink流式时间窗口？

Question

我正在研究一个Flink流式处理器，它可以从Kafka读取事件。这些事件由其中一个字段键控，并且在减少和输出之前应该在一段时间内加窗。我的处理器使用事件时间作为时间特性，因此从它所消耗的事件中读取时间戳。以下是它目前的样子：

source
    .map(new MapEvent())
    .assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor<Event>(Time.seconds(10)) {
        @Override public long extractTimestamp(Event event) {
                return event.getTimestamp();
            }
        })
    .keyBy(new KeySelector())
    .timeWindow(Time.minutes(1))
    .reduce(new EventReducer())
    .map(new MapToResult());

我所知道的事件如下：

null

null

Answer 1

我觉得应该从水印概念说起。简单地说，watermark表示具有较早时间戳的大多数事件已经到达。基于该假设，当水印经过窗口结束时，时间窗口可以发出窗口。当然还有可能会出现迟到的情况，这可能是一个人想要处理的。这里有allowedlatency的概念，它指定在发出窗口后多长时间，我们应该跟踪存在的元素，以便例如可以使用那些迟来的事件更新接收器（但必须记住，窗口已经发出，而没有该元素）。希望这能回答你的第二个问题。

回到您的第一个问题，如果您有许多事件可以延迟20秒，我认为BoundedoutoFordernesTimeStampExtractor是最好的选择。这样，虽然发射，但每个窗口都将延迟20秒。如果晚到是相当零星的，你可以处理重复的，那么你可以考虑另一个。

您提到的AssignerWithPunctuatedWatermarks（正如文档所说的，在流中的某些特定事件已经充当水印的情况下应该使用。所以不要认为它适合您的用例。

关于水印的更多信息，你可以阅读这个文件或这个和那个