理解flink保存点

Question

考虑使用以下管道的Apache Flink流媒体应用程序：

Kafka-Source -> flatMap 1 -> flatMap 2 -> flatMap 3 -> Kafka-Sink

其中每个flatMap函数都是非状态运算符（例如数据流的正常.flatMap函数）。

检查点/保存点如何工作，以防传入消息在flatMap 3处挂起？从flatMap 1开始重新启动后，是否会重新处理该消息，还是会跳到flatMap 3？

我有点困惑，因为文档中似乎提到应用程序状态是我可以在有状态运算符中使用的，但我的应用程序中没有有状态运算符。是否保存“处理进度”

这和失败有区别（-

我试着通过放置线程来找到自己（使用一次启用检查点和rocksdb后端）。sleep（）在flatMap 3中，然后使用保存点取消作业。然而，这导致flink命令行工具一直挂起，直到睡眠结束，甚至在作业取消之前执行flatMap 3，甚至发送到接收器。因此，我似乎无法手动强迫这种情况来分析Flink的行为。

如果如上所述，检查点/保存点未保存/覆盖“处理进度”，我如何确保在重启/故障情况下，任何给定的操作员（flatmap 1/2/3）都不会重新处理到达管道的每条消息？




Answer 1

当执行检查点时，每个任务（操作符的并行实例）都检查其状态。在您的示例中，三个flatmap操作符是无状态的，因此没有要检查的状态。Kafka源是有状态的，检查所有分区的读取偏移量。

如果出现故障，则恢复作业并加载所有任务的状态，这意味着在源操作符的情况下，将重置读取偏移。因此，应用程序将重新处理自上次检查点以来的所有事件。

为了实现端到端完全一次，您需要一个特殊的接收器连接器，它提供事务支持（例如，对于Kafka）或支持幂等写入。