Apache Flink：每个分区的水印？

Question

我看到关于为每个密钥添加水印支持的讨论很多。但是flink支持每个分区的水印吗？

当前-然后考虑所有水印（非空闲分区）的最小值。因此，窗口中最后挂起的记录也被卡住了。（使用periodicemit增加水印时）

任何关于这方面的信息都非常感谢！

Answer 1

一些来源，如FlinkKafkaConsumer，支持逐分区水印。通过在源上而不是在源生成的流上调用assignTimestampsAndWatermarks来实现这一点。

它的作用是每个消费者实例跟踪每个分区内的最大时间戳，并将这些最大值的最小值作为其水印，减去配置的有界异常。如果您将空闲分区配置为这样做，它将被忽略。

这不仅可以产生更精确的水印，而且如果您的事件在每个分区内都是按顺序排列的，这也可以利用水印策略。forMonotonousTimestamps（）策略。

有关更多详细信息，请参阅水印策略和Kafka连接器。

至于为什么没有触发最后一个窗口，这与水印有关，但与每分区水印无关。问题很简单，windows是由水印触发的，水印在事件的时间戳之后。因此，水印永远无法赶上最终事件，也永远无法触发最后一个窗口。

这对于无限流作业来说不是问题，因为它们从不停止，也没有最后一个窗口。对于批处理作业来说，这不是问题，因为它们知道所有的数据。但对于有边界的流媒体作业，您需要做一些事情来解决这个问题。广义地说，您必须做的是通知Flink输入流已经结束——每当Flink源检测到它们已经到达基于事件时间的输入流的末尾时，它们就会发出最后一个值为MAX\u水印的水印，这将触发任何打开的窗口。

一种方法是将KafkaDeserializationSchema与isEndOfStream的实现一起使用，该实现在作业结束时返回true。