Flink如何处理IterativeStream中的检查点和状态？

Question

我可以在文档中看到：

Flink目前只为没有迭代的作业提供处理保证。对迭代作业启用检查点会导致异常。为了在迭代程序上强制检查点，用户需要在启用检查点时设置一个特殊的标志：env.enablecheckpointing（interval,force=true）。

DataStream<Point> input = ...
ConnectedIterativeStreams<Point, Centroids> inputsAndCentroids = input.iterate().withFeedbackType(Centroids.class)
DataStream<Centroids> updatedCentroids = inputsAndCentroids.flatMap(new MyCoFlatmap())
inputsAndCentroids.closeWith(updatedCentroids.broadcast())

class MyCoFlatmap implements CoFlatMapFunction<Point, Centroid, Centroid>{...}

如果mycoflatmap是一个coprocessfunction而不是一个coflatmapfunction（这意味着它也可以保存状态），会有什么变化吗？

Answer 1

该限制仅适用于使用迭代时的Flink的datastream/streaming API。在使用数据集/batch API时，没有任何限制。

当使用流式迭代时，实际上不会丢失运算符状态，但可能会丢失通过循环边缘从运算符发送回迭代头的记录。在您的示例中，如果发生故障，从UpdatedCentroids发送到InputsandCentroids的记录可能会丢失。因此，在这种情况下，Flink不能保证一次准确的处理保证。

事实上，有一项改善建议是针对这个缺点而提出的。然而，目前还没有完成。