Flink精确一次消息处理

Question

我已经设置了一个Flink 1.2独立集群，其中包含2个JobManager和3个TaskManager，我正在使用JMeter通过生成Kafka消息/事件对其进行负载测试，然后处理这些消息/事件。处理作业在TaskManager上运行，通常需要大约15K个事件/秒。
作业已设置EXACTLY_ONCE检查点，并将状态和检查点持久化到Amazon S3。如果我关闭运行作业的TaskManager需要一点时间，几秒钟，然后在不同的TaskManager上恢复作业。
当我在TaskManager上检查输出时，我关闭了最后一个计数，例如500000，然后当我在另一个TaskManager上检查恢复的作业的输出时，它以~400000开始。这意味着重复事件的100K。这个数字取决于测试的速度，可以更高或更低。
不确定我是否错过了什么，但我希望作业在不同的TaskManager上恢复后显示下一个连续数字（如500001）。
有人知道为什么会发生这种情况/我必须配置额外设置才能获得一次吗？

Answer 1

您将看到精确一次的预期行为。Flink通过检查点和失败情况下的重播相结合来实现容错。保证不是每个事件将被准确地发送到管道中一次，而是每个事件将仅影响管道的状态一次。

检查点在整个集群中创建一致的快照。在恢复期间，将恢复操作员状态，并从最近的检查点重播源。

有关更全面的解释，请参阅Artisans博客文章：使用Apache Flink™或Flink文档进行高吞吐量、低延迟和精确一次流处理。