Apache Flink：接收器是否存储在检查点进入检查点状态期间从流缓冲的项目？

Question

我正在开发一个遗留的Flink管道，我们希望更改我们正在使用的接收器的实现。我们正在运行Flink 1.10，试图从BucketingSink过渡到StreamingFileSink，两者都在将ORC写入相同的目标。我们的管道非常简单：我们将一些kakfa流合并到单个接收器中（没有其他操作员）。

在部署测试期间，我注意到当我们从sink1切换到sink2（反之亦然）时，我们最终会在我们正在编写的文件中丢失kafka消息（通过hive/trino查询）。丢失消息的kafka时间戳与我的部署一致，所以我相信这不是一些无关的上游问题。

我目前的理论是，在检查点期间，接收器在等待所有检查点屏障时缓冲来自流的消息，这些缓冲的事件被捕获为该接收器的检查点状态的一部分，kafka消息来源认为这些偏移已被交付/处理（即使它们没有被写入文件，而只存在于接收器的缓冲区中）。因此，当我使用不同的接收器进行部署，并从使用旧接收器创建的检查点开始时，这些缓冲的消息会丢失。我正在寻找确认这些接收器是否将缓冲事件写入检查点状态，并将导致kafka源将它们视为“已处理”，即使它们尚未写入文件。

我们的时间线看起来像：

┌──────┐  ┌──────┐  ┌──────┐  ┌──────┐  ┌────────┐  ┌──────┐
│Sink1 │  │Sink1 │  │Sink1 │  │Deploy│  │ Resume │  │Sink2 │
│ CP1  │─▶│ CP2  │─▶│ CP3  │─▶│Sink2 │─▶│from CP3│─▶│ CP4  │
└──────┘  └──────┘  └──────┘  └──────┘  └────────┘  └──────┘

最后，在写入ORC文件的Kafka消息中，“Sink1 CP3”和“Sink2 CP4”之间出现了一个缺口。所以我相信Kafka源中的Kafka偏移量有所提高（尽管我们的源没有任何变化），所以Kafka源认为我们已经处理了这些缓冲消息，在我们从CP3恢复后不会将它们发送到Sink2。陌生人：如果我返回到Sink1并从CP4恢复，那么在CP3和CP4之间丢失的事件就会被写入！并且不会写入重复的事件，因此不会将Kafka源倒回到旧的偏移量，也不会在CP3之后重新处理所有消息。

那么，我的思路是否正确，Kafka源是否为缓冲消息提前了偏移量？有没有一种方法可以安全地从一个接收器过渡到另一个接收器，而不会丢失这些Kafka信息的狭窄片段？

Answer 1

是的，在checkpoint flink使用状态存储后端期间，请检查保存点功能以避免丢失数据https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/state/savepoints/

什么是保存点？保存点与检查点有何不同保存点是通过Flink的检查点机制创建的流作业执行状态的一致映像。您可以使用保存点停止和恢复、分叉或更新Flink作业。保存点由两部分组成：一个在稳定存储中包含（通常较大）二进制文件的目录（例如HDFS、S3等）和一个（相对较小）元数据文件。稳定存储上的文件表示作业执行状态映像的净数据。保存点的元数据文件以相对路径的形式包含（主要）指向稳定存储中作为保存点一部分的所有文件的指针。