Flink精确一次-在接收器处设置检查点和障碍确认

Question

我有一个Flink工作，负责将数据写入MongoDB的接收器。接收器是RichSinkFunction的实现。

已启用外部化检查点。间隔为5000 mills，方案为一次。

• Flink版本1.3，
• kafka（源话题）0.9.0

我无法升级到Flink 1.4的TwoPhaseContSink。

我没有什么疑问

1. 在调用函数开始时或调用完成时，接收器在哪个时间点确认检查点屏障？表示它在确认障碍之前等待持久（保存在MongoDB中）响应

Answer 1

首先，如果源和接收器支持，Flink只能保证端到端的精确一次一致性。如果您使用的是Flink的Kafka消费者，Flink可以保证应用程序的内部状态是精确一次一致的。要实现完全的端到端精确一次一致性，接收器也需要适当地支持这一点。您应该检查MongoDB接收器的实现是否正常工作。

检查点屏障通过数据传输通道发送常规消息，即检查点屏障将流分隔为进入检查点和1的记录。接收器操作符将处理两个调用之间的屏障，并触发状态后端执行检查点。然后由状态后端决定是否以及如何异步执行检查点。一旦触发检查点的调用返回，接收器就可以继续处理。一旦收到状态后端的通知，接收器操作员将向JobManager报告其已完成状态检查点。当所有操作员成功报告他们完成了检查点时，整个检查点完成。

这篇博客文章更详细地讨论了端到端的一次处理以及对接收器操作符的要求。