如果Flink作业在两个检查点之间重新启动，会发生什么情况？

Question

这个问题与这里提出的问题基本相似：Apache Flink容错。i、 e.如果作业在两个检查点之间重新启动，会发生什么情况？它会重新处理在最后一个检查点之后已经处理过的记录吗？

例如，我有两份工作，工作1和工作2。Job1使用来自Kafka的记录，对其进行处理，然后再次将其生成到第二个Kafka主题。Job2使用第二个主题并处理记录（在我的例子中，它使用AerospikeClient更新aerospike中的值）。

现在，从Apache Flink容错问题的答案来看，我可以相信，如果job1重新启动，它将不会在接收器中生成重复的记录。我使用的是FlinkKafkaProducer011，它扩展了TwoPhaseCommitSinkFunction(https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html)。请解释它将如何防止重新处理（即重复制作Kafka的记录）。

据Flink doc称，Flink从最后一个成功的检查点重新启动作业。因此，如果job2在完成检查点之前重启，它将从最后一个检查点重启，并且在最后一个检查点之后已经处理的记录将被重新处理（即aerospike中的多次更新）。我说得对吗？还是说Flink还有别的地方(

Answer 1

在这种情况下，Flink确实会重新处理一些事件。在恢复期间，输入分区的偏移量将重置为最近检查点中的偏移量，并且将重新摄取在该检查点之后读取的事件。

但是，Flink KafkaProducer使用在检查点完成时提交的Kafka事务。当作业失败时，它自上次检查点以来产生的任何输出都受到从未提交的事务的保护。只要该作业的消费者配置为使用read_committed作为他们的isolation.level，他们就不会看到任何重复。

有关更多详细信息，请参阅在Flink Jobs中使用Kafka源/汇的最佳实践。