Apache Flink，什么是事件流中的延迟服务？

Question

我读过几篇关于Flink的文章，在读Flink的博客时，我遇到了这样一句话：“最多延迟60秒（事件最多延迟1分钟）”

是否在Flink中定义乱序事件持续时间用于技术“水印”，如果不是，那么内部目的是什么？

Answer 1

我将简要解释如何在Flink中管理无序事件。事件时间、无序和水印是非常接近的概念，我想在了解它们之间的关系后，您会更好地理解这个短语。

水印和超出范围是基于事件时间的数据流的概念。水印可以描述为一个时间标记，您假设在标记之前不会发生更多事件。Flink中有几种发出水印的机制，即您可以在每次收到事件时设置水印。此外，时间窗口使用水印来检查何时是评估的正确时间。

也就是说，“水印”和“无序”的概念本质上是相同的，因为您使用水印来实现无序管理。在您的情况下，要定义60秒的最大延迟，只需在收到最大时间戳之前60秒设置水印即可。

官方网站上有一个管理无序事件的好例子：

/**
* This generator generates watermarks assuming that elements come out of order to a certain degree only.
* The latest elements for a certain timestamp t will arrive at most n milliseconds after the earliest
* elements for timestamp t.
*/
public class BoundedOutOfOrdernessGenerator extends AssignerWithPeriodicWatermarks<MyEvent> {

private final long maxOutOfOrderness = 3500; // 3.5 seconds

private long currentMaxTimestamp;

@Override
public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
    long timestamp = element.getCreationTime(); 
    currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);
    return timestamp;
}

@Override
public Watermark getCurrentWatermark() {
    // return the watermark as current highest timestamp minus the out-of-orderness bound
    return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
}
}