Flink流处理窗口化中的后期数据采集

Question

aggregatedTuple
          .keyBy( 0).timeWindow(Time.milliseconds(8))
          .reduce(new ReduceFunction<Tuple2<Long, JSONObject>>()

null

Answer 1

Flink有两个不同的、相关的抽象，它们处理在具有事件时间戳的流上计算窗口分析的不同方面：水印和允许迟到。

首先是水印，每当处理事件时数据（无论是否使用windows）时，水印就会发挥作用。水印提供了关于事件时间进度的信息，并为应用程序编写者提供了一种处理无序数据的方法。水印随数据流流动，每个水印标记流中的一个位置并携带一个时间戳。水印作为一种断言，即在流中的那个点，流现在（可能）完成到那个时间戳--或者换句话说，水印之后的事件不太可能来自水印所指示的时间之前。最常见的水印策略是使用BoundedEutoFordernesTimeStampExtractor，它假设事件在某个固定的、有界的延迟内到达。

这现在提供了一个迟到的定义--在水印之后的事件的时间戳小于水印的时间戳被认为是迟到。

How can I filter data stream as it wants to enter the window and check 
if the data created at the right timestamp for the window?

Flink的窗口分配器负责将事件分配给适当的窗口--正确的事情将自动发生。将根据需要创建新的窗口实例。

How can I gather such late data in a variable to do some processing on them?

您可以在您的水印中充分慷慨，以避免有任何迟到的数据，和/或配置允许的迟到足够长，以适应迟到的事件。但请注意，Flink将被迫保持所有仍在接受后期事件的窗口打开，这将延迟垃圾收集旧窗口，并可能消耗相当大的内存。

注意，本讨论假设您希望使用时间窗口--例如，您正在使用的8msec长窗口。Flink还支持计数窗口（例如，将事件分组为100个批次）、会话窗口和自定义窗口逻辑。例如，如果您使用计数窗口，水印和迟到不会起任何作用。

如果您希望为您的分析提供每个键的结果，那么在应用窗口化之前，使用keyBy按键（例如，按用户ID）对流进行分区。例如：

stream
  .keyBy(e -> e.userId)
  .timeWindow(Time.seconds(10))
  .reduce(...)

更新：注意，在最近版本的Flink中，windows现在可以将后期事件收集到边输出。

一些相关文件：

事件时间和水印
允许的延迟