Apache Flink中的端到端精确一次处理

Question

Apache Flink通过从检查点恢复作业，确保故障和恢复时只进行一次处理，检查点是分布式数据流和操作员状态的一致快照（分布式快照的Chandy Lamport算法）。这保证了故障切换时只需一次。

在正常集群操作的情况下，Flink如何保证只进行一次处理，例如给定一个从外部源读取的Flink源（例如Kafka），Flink如何保证从源读取一次事件？事件源和Flink源之间是否有任何类型的应用程序级别的缓存？此外，Flink如何保证事件从上游运营商到下游运营商只发布一次？这是否也需要对接收到的事件进行任何类型的打包？

Answer 1

Flink不保证每个事件都从源中读取一次。相反，它保证每个事件只影响一次托管状态。

检查点包括源偏移量，在检查点还原期间，源会被重绕，一些事件可能会被重播。这很好，因为检查点包括整个作业的状态，该状态是读取检查点中存储的偏移量之前的所有内容所产生的，而不包括这些偏移量之外的任何内容。

因此，Flink的一次性担保需要可重复使用的来源。操作员之间的消息传递依赖于tcp。

确保接收器不会收到重复的结果还需要事务接收器。Flink提交事务作为检查点的一部分。