Flink：处理数据早于应用程序水印的密钥流

Question

我使用Flink与运动源和事件时间键控窗口。应用程序将监听实时数据流，窗口化（事件时间窗口）并处理每个键控流。我有另一个用例，我也需要能够支持某些关键流的旧数据回填（这些将是具有事件时间的新关键流

鉴于我正在使用水印，这是一个问题，因为Flink不支持每键水印。因此，回填的任何键控流将最终被忽略，因为此流的事件时间将是

我经历了其他类似的问题，但没能得到一个可能的方法。以下是我正在考虑的可能方法，但仍有一些悬而未决的问题。

可能的办法-1

（i） 保留一份专用于回填目的的应用程序副本。回填作业很少发生（每月约几次）。发送到应用程序副本的数据流将在流中具有开始和停止指示器。我计划用它来启动/重置水印。悬而未决的问题？是否可以使用流中的指示器重置水印？我知道这不是最好的做法，但想不出替代方案。

后续行动：清除DataStream中的Flink水印状态[未提供最终解决方案。]

可能的方法-2每个键都有并行实例，因为每个任务可能有不同的水印。-

如果需要任何其他细节，请告诉我。

Answer 1

您可以通过在批处理执行模式下运行回填作业来解决此问题。当DataStream API以批处理模式运行时，输入是有界的（有限的），并且是预先知道的。这允许Flink按键和时间戳对输入进行排序，并且处理将根据事件时间正确进行，而无需担心水印或延迟事件。