从水印角度看Flink开发人员的角色

Question

我是Flink的新手，偶然看到一篇文章提到

“flink开发人员负责通过在流中安排水印来向前移动事件时间”。

所以，我想出了可能的答案。据我所知，如果我指示程序每隔5秒发出水印。实际上，每隔5秒，Flink就会调用AssignerSusPerstrodic水印的getMONtWatermark（）方法。如果该方法返回一个时间戳大于前一个水印的时间戳的非空值，则会转发新的水印。此检查对于确保事件时间不断增加是必要的；否则，不会产生水印。

因此，一旦窗口中的所有内容都到达，它将触发操作符，并相应地进行计算，那么处理函数的作用是什么？水印只能由processfunctions使用，对吗？

Answer 1

你所说的周期性水印是正确的。但通常我会建议将自动水印间隔保留在其默认值200毫秒；将其设置为5秒将为管道增加5秒的延迟。

在Flink的API的最低级别上，水印用于触发事件时间计时器，而事件时间计时器仅在流程函数中公开。流程函数是实现事件驱动应用程序的基本构建块。您将直接挂接到主事件循环中，处理每个可用的事件。您还可以访问容错、低延迟、可扩展的状态存储和计时器。

在DataStream API的较高级别，水印用于触发事件时间窗口，并由CEP（在进行模式匹配之前对流进行排序）使用。水印还在Table/SQLAPI中按窗口、间隔连接、时间连接和MATCH_RECOGNIZE使用。在所有这些情况下，这些时间运算符使用水印来观察事件时间的进展，以便在这些结果准备就绪时发出结果，然后释放不再有用的状态。