事件在时间上分散的闪烁水印管理方法

Question

我正在处理来自物联网设备的事件流。

这些事件具有由网络设置的第一级时间戳。他们还将在不同时间点采取的多项措施组合在一起。例如：

• 网络时间9:08

度量值将按小时汇总，在这种情况下，M1应在8:00-9:00窗口中，M2应在9:00-10:00窗口中。

我想知道设计我的flink应用程序、管理这些时间戳和相关水印的正确方法是什么。根据我目前的理解：

• 我可能应该将所有与网络时间（9:08）相关的处理放在一个单独的Flink应用程序中。
• 让Flink应用程序在它们被解压后处理度量值（翻盖映射）。然后用赋值时间戳和水印（）分配时间戳，对吗？考虑到同时到来的度量值之间有15mn的差距，我应该使用什么策略？

--

PS：不，我不能更改物联网设备

PPS：我计划使用EMR，所以flink 1.11，如果它对设计有任何影响的话。

Answer 1

通常，对于无序事件流，您希望使用有界有序水印策略，其持续时间足以覆盖预期的无序性。所以至少15分钟，在这种情况下。

如果您正在聚合每小时的窗口，那么这应该是非常可行的——假设您可以容忍等到每小时结束后15分钟才能看到任何结果。如果可以对窗口结果进行增量聚合（通过减少或聚合），则效率会更高。