为纱线簇中的Flink作业设置Flink检查点的路径动态

Question

我用纱线做Flink的工作。对于每个Flink作业，我都会创建一个检查点。

我提交了一份在我的纱线集群中运行的Flink作业。我有一个轮询作业，它检查一个作业是否在纱线上失败并重新启动它。再次提交作业时，纱线会为此Flink作业创建一个新的application\u id。如何配置重新提交的Flink作业以使用重新启动的Flink作业的检查点。

我已经设置了conf的状态。保存点。目录=hdfs://localhost:9000/checkpoint/在flink-conf.yaml中`

创建Flink作业时，stream ExecutionEnvironment.setStateBackend（new FsStateBackend（"hdfs://localhost:9000/checkpoint/uuid-job-1 "));

当我进行此设置时，检查点保存在conf文件中指定的路径中（hdfs://localhost:9000/checkpoint/）并且不在创建Flink作业时设置的路径中。

任何帮助都将不胜感激。谢谢

Answer 1

不幸的是，你不能从旧的检查点开始新的工作。你可以做的是使用外部化的检查点。闪烁的一个缺点

邮件列表线程中的一个附加说明：

好消息是，Flink 1.5将稍微修改外部化检查点的工作方式：基本上，所有检查点现在都可以被视为外部化，元数据将存储在检查点的根目录中，而不是所有作业的一个全局目录中。通过这种方式，外部化检查点的元数据驻留在每个作业的检查点目录中，从该目录恢复应该相当简单。