优化flink窗口

Question

我有一份flink工作，需要在1小时内重复删除收到的记录。重复数据消除后，我需要收集所有这些重复数据消除的文档，并进行一些聚合，如计数，然后生成目标主题。

现在，由于我只需要收集那些重复数据消除的文档，所以可能不需要等待1小时。我如何避免仅为收集这些文档而设置1个小时的窗口，但一旦收集到这些文档，就继续进行聚合。

因此，资源会占用内存，检查点大小也在增加，这是我想要避免的。

水印策略：

WatermarkStrategy<PlImaGuidInterimMessageVO> watermarkStrategy =  WatermarkStrategy
            .<PlImaGuidInterimMessageVO>forBoundedOutOfOrderness(Duration.ofMillis(maxOutOfOrderness))
            .withTimestampAssigner((event, timestamp) -> event.getEventTimeStamp());

如有任何建议，将不胜感激。

Answer 1

除非您正在执行未显示的异常操作，否则第二层窗口将在收到第一层的结果后立即关闭。换言之，一旦完成重复数据消除，您就应该得到最终结果。

然而，滚动窗口并不是实现重复数据消除的理想技术。问题是窗口与时代对齐。这意味着时间戳为1:59、重复时间为2:01的事件不会被重复数据消除。

在我看来，最好使用带有计时器的简单KeyedProcessFunction。为流设置关键帧，以便只有重复项具有相同的关键帧，并在ValueState中使用布尔值来记住最近是否看到了给定的关键帧，以便筛选出后续的外观。使用计时器清除状态。

会话窗口是实现重复数据消除的另一种很好的方法，尽管语义也有所不同。