当前位置: 首页 > 知识库问答 >
问题:

Apache Flink未删除旧的检查点

嵇俊德
2023-03-14

我有一个非常简单的4节点Flink集群设置,其中一个节点是Jobmanager,其他节点是TaskManager,并通过启动集群脚本启动。所有任务管理器都有相同的配置,关于状态和检查点,如下所示:

state.backend: rocksdb
state.backend.fs.checkpointdir: file:///root/flink-1.3.1/checkpoints/fs
state.backend.rocksdb.checkpointdir: file:///root/flink-1.3.1/checkpoints/rocksdb
# state.checkpoints.dir: file:///root/flink-1.3.1/checkpoints/metadata
# state.checkpoints.num-retained: 2

(后两个选项是在我尝试取消注释时故意注释的,没有任何改变。)

在代码中,我有:

val streamEnv = StreamExecutionEnvironment.getExecutionEnvironment
streamEnv.enableCheckpointing(10.minutes.toMillis)
streamEnv.getCheckpointConfig.setCheckpointTimeout(1.minute.toMillis)
streamEnv.getCheckpointConfig.setMaxConcurrentCheckpoints(1)

作业工作40分钟后,在目录中

/root/flink-1.3.1/检查点/fs/.../

我看到了4个名称模式为“chk-”索引的检查点目录,而我预期旧的检查点会被删除,只剩下一个检查点。(从文档中,默认情况下只保留一个检查点)同时,在web UI中,Flink将前三个检查点标记为“已放弃”。

我是否配置错误或这是预期行为?

共有1个答案

长孙硕
2023-03-14

删除由作业管理器完成,它可能无法访问您的文件(在/根目录中)

 类似资料:
  • 在 Application(应用)面板中检查和删除 cookie。 TL;DR 查看有关cookie的详细信息,例如其名称,值,域,大小等。 删除单个Cookie,所选网域中的Cookie,或所有域中的所有Cookie。 概述 使用Cookie窗格查看和删除 cookie。 您不能修改cookie值。 Cookie按域列出。这包括主文档以及所有嵌套框架。选择这些frame groups(框架组)之

  • 问题内容: 长时间运行Docker时,系统中有很多映像。如何安全地一次删除所有未使用的Docker映像以释放存储空间? 另外,我还想删除几个月前拉出的具有正确图像。 因此,我并不是要仅删除未标记的图像。我正在寻找一种删除常规未使用图像的方法,其中包括未标记的图像和其他图像,例如几个月前使用正确的图像拉出的图像。 问题答案: 2016年9月更新:Docker 1.13:PR 26108和commit

  • 在长期运行Docker时,系统中会出现大量的图像。我如何删除所有未使用的Docker映像一次安全释放存储? 此外,我还想移除几个月前拉出的图像,这些图像具有正确的。

  • 我是JSP的新手,我正在尝试创建一个web界面,用户可以在该界面中输入他们想要删除的信息,并且该信息将在数据库表中删除。 在这里,他们应该输入和,然后应该删除具有两个指定ID的任何数据。但是,它不是从表中删除的。我有个例外 数组索引越界 下面是我的代码:

  • 我在Google Play控制台上发布了一些一年多以前的旧APK,它们的目标API级别为9-13。同一应用程序的较新版本的目标API级别更高。 我想删除对旧应用程序版本的支持,我们的REST API将不再支持这些版本。我们几乎没有人使用这些旧版本的应用程序。 但是我找不到从商店中取消发布这个旧APK的方法。是否没有办法删除旧的APK并禁用旧API级别的下载?

  • 问题内容: 此问题与我是否应该担心多余的,未运行的Docker容器有关?。 我想知道如何删除旧容器。将让你删除一个,但我有很多了。没有提供选择选项(如全部,或按图像名称)。 也许有一个存储这些容器的目录,可以方便地手动删除它们? 问题答案: 从Docker 1.13.x开始, 您可以使用Docker容器prune: 这将删除所有停止的容器,并且应在所有平台上以相同的方式工作。 还有一个Docker