Apache-Flink水印策略

Question

我们正在构建一个流处理管道来处理/摄取Kafka消息。我们正在使用Flink v1.12.2。在定义源水印策略时，在官方留档中，我遇到了两种开箱即用的水印策略；forBoundedOutOfOrness和forMonotonousTimestamps。我确实浏览了javadoc，但并不完全理解何时以及为什么你应该使用一种策略而不是另一种策略。时间戳基于事件时间。谢谢。

Answer 1

如果时间戳从来都不是无序的，或者如果您愿意所有无序事件都被认为是延迟的，您应该使用for MonotonousTimestamps。另一方面，如果乱序时间戳对您的应用程序来说是正常的，那么您应该使用forBoundedOutOfOrness。

对于kafka，如果您让kafka源操作符应用水印策略（推荐），那么它将分别将该策略应用于每个分区。在这种情况下，Kafka源的每个实例将产生每个分区水印的最小值（对于该实例处理的分区）。在这种情况下，如果每个分区内的时间戳是按顺序排列的，则可以使用forMonotonousTimestamps（例如，如果您从使用log-append时间戳的生产者处消费，则会出现这种情况）。

您希望尽可能使用MonotonousTimestamps，因为它最大限度地减少了延迟并简化了事情。