Apache Flink：在并行任务之间对齐水印

Question

我们使用带有水印的周期事件时间窗口。我们目前在Flink应用程序中有4个并行任务。

在流式处理过程中，所有4个任务的水印值都必须接近触发窗口事件。

例如

任务1水印值=8

任务2水印值=1

任务3水印值=8

任务4水印值=8

任务2正在等待日志更新其水印。但是，这种情况可能发生在任务2更新之前，我们希望在更新之前触发窗口事件。

是否有任何机制可以在不等待其他任务的情况下对齐所有并行任务的水印或触发窗口事件？

Answer 1

@Til Rohrmann在评论中已经回答了这一问题，主要答案是：

如果您想查找同一个人的3个发件人，那么您应该通过键入此人，然后简单地使用计数窗口生成警报。也许你还想过滤掉同一个人的重复发件人。

后续问题：

但是我们也需要考虑事件时间。例如10分钟内3个发件人（事件时间而不是处理时间）

跟进答复：

然后，您可以使用带有自定义触发器的事件时间窗口，该触发器在看到3个元素时触发。

我想关键的结论是：如果你想触发某物的计数，key By the field。