如何处理flink流中的未来事件？

Question

我们正在努力计算 1 分钟翻滚时间窗口内不同类型的事件的最大并发计数。

这些事件就像传感器数据，这些数据是从我们的桌面代理每分钟收集的，然而，一些代理得到了一个错误的时间戳，比如说，它甚至比现在晚了几个小时。

所以，我的问题是如何处理/删除这些事件，目前我只是应用过滤器（s =

我的第一个问题是，如果我不这样做，我怀疑这个坏的“未来”事件会触发窗口计算，即使是那些不完整的数据窗口

第二个问题是，我们有没有更好的方法来防止这种情况发生？

谢谢

Answer 1

这是一个有趣的用例。

所以首先是一些背景，然后是一些解决方案：闪烁中的Windows不是基于时间戳而是基于水印。两者之间有密切的联系，在窗口触发时通常可以对它们进行相同的处理，但在这种情况下，明确的分离很重要。所以是的，如果您使用严格绑定到时间戳的水印生成器，您的怀疑可能是有效的。

考虑到这一点，你有几个选择:

< li >过滤无效事件(< code >时间戳

我认为前两个选项是直截了当的，我个人会选择第二个（修复数据总是好的）。让我们关注水印生成器。

基本上没有限制你如何生成水印-你可以依靠你的想象力。以下是一些想法:

• 只有提前水印，当您看到水印大于当前水印的X事件时。
• 使用一些低通滤波器=慢速移动平均线。
• 忽略带有时间戳的事件

我很高兴听到你选择了哪条路，我可以帮助你走得更远。