Flink水印策略

Question

我们正在构建一个流处理管道，以使用Flink v1.11和事件时间特性来处理Kinesis消息。在定义源水印策略时，在官方留档中，我遇到了两个开箱即用的水印策略；forBoundedOutOfOrthy和forMonotonousTimestamps。但根据我对上述内容的理解，我认为这些不适合我的用法。以下是我的用法细节：

来自输入流的数据：（包含每分钟带有时间戳的数据）

{11:00, Data1}
{11:01, Data2}
{11:00, Data3}
{11:00, Data4}
{11:01, Data5}
...

现在，我想处理11:00-11:01的窗口（翻滚事件时间：1min），其中包含[Data1，Data3，Data4]，正好是在11:00时间戳到达的第一个事件之后20秒。类似地，11:01-11:02之间包含[Data2，Data5]的下一个窗口需要在具有11:01时间戳的第一个事件出现后20秒执行。这种水印策略在Flink中是否可行？

Answer 1

以下是实现此目标的方法：

在OneEvent方法中，跟踪迄今为止看到的最大时间戳。无论何时更新此变量，请记录当前系统时间。

然后，当调用onPeriodicEmit时（默认情况下，每200毫秒调用一次），如果当前最大时间戳更新后已经20秒，则发出等于当前最大时间戳加1秒的水印。