Apache Flink：水印、删除延迟事件和允许延迟

Question

我很难理解水印和允许迟到的概念。

以下是[邮件存档]的摘录|https://www.mail-archive.com/user@Flink。阿帕奇。组织/msg08758。html]这谈到了水印，但我还有几个问题。以下是引用的示例：

假设您有一个BoundedOutOfOrdernessTimestampExtractor，具有2分钟的绑定和10分钟的翻转窗口，从12:00开始到12:10结束：

如果您具有以下流序列：

12:01, A
12:04, B
WM, 12:02 // 12:04 - 2 minutes
12:02, C
12:08, D
12:14, E
WM, 12:12
12:16, F
WM, 12:14 // 12:16 - 2 minutes
12:09, G

不允许迟到

当窗口操作符接收到<代码>

允许迟到3分钟

当<代码>

允许迟到5分钟

当<代码>

据我了解：

1. 水印应该告诉我们，任何到达的事件时间戳小于水印时间戳的元素都将被丢弃。所以12:02的水印意味着Flink在活动时间12:02之前已经看到了它必须看到的一切。任何事件timesatamp小于此水印的元素（例如12:01）都将被删除
2. 允许延迟的概念仅适用于标记窗口结束的最后一个水印之后

我基于理解提出的问题：

1. 考虑到Flink之前的水印（WM，12:02）已经说过“我在12:02之前看到了一切”，消息“12:02，C”是如何被接受的

如果您具有以下流序列：

12:01, A
12:04, B
WM, 12:02 // 12:04 - 2 minutes
12:02, C
 12:01, CCC // Inserted by Sheel
12:08, D
12:14, E
WM, 12:12
12:16, F
WM, 12:14 // 12:16 - 2 minutes
12:09, G

这仍然在12:00-12:10窗口中，但在水印WM 12:02后面。假设允许的迟到时间是5分钟。该记录是否会“以某种方式”被接受，从而将允许的延迟引入图片中，或者考虑到水印12:02已经越过，该记录是否会被删除？

Answer 1

水印控制窗口的生存期，但不直接控制是否删除记录。当Flink的WindowOperator收到一条新记录时，它将计算它所属的窗口集。如果此集合至少包含一个活动窗口，这意味着没有比窗口允许延迟的结束时间更大的水印，则记录将分配给此窗口，并将成为窗口计算的一部分（即使记录的时间戳低于上次看到的水印）。因此，可以说windows降低了水印相对于单个记录的分辨率。

在您的情况下，这意味着C和CCC都将成为窗口的一部分，因为系统在