如何在nfs文件系统中存储apache flink检查点
我正在使用Apache Flink 1.10.0从RabbitMQ拉数据流，现在我在内存中使用默认检查点配置。现在为了在任务管理器重启时恢复，我需要在文件系统中存储状态和检查点，所有演示都应该使用“hdfs://namenode： 4000/......”，但是现在我没有HDFS集群，我的Apache Flink在kubernetes中运行集群，如何将我的检查点存储在文件系统中？
我阅读了Apache Flink的文档，并告诉我it支持：
>
状态的持久存储，通常是分布式文件系统（例如，HDFS、S3、GFS、NFS、Ceph等）
如何配置flink以使用NFS存储检查点和状态？我从internete搜索，没有找到关于此解决方案的任何故事。
共有1个答案
要在Flink中使用NFS进行检查点，您应该使用file：URI指定检查点目录，该URI可以从集群中的每个节点访问（作业管理器和所有任务管理器需要使用相同的URI进行访问）。
因此，例如，您可以在每台计算机上的/data/flink/checkpoints处装载NFS卷，然后指定
state.checkpoints.dir: file:///data/flink/checkpoints
-
NFS(网络文件系统) [NFS] lockd.nlm_grace_period=秒数 为NFS锁管理器指定宽限时间，单位是秒。取值范围在[0-240]？ [NFS] lockd.nlm_tcpport=端口号 为NFS锁管理器指定TCP端口 [NFS] lockd.nlm_timeout=秒数 为NFS锁管理器指定默认超时时间，单位是秒。默认值是10秒。取值范围在[3-20]？ [NFS] lo
-
使用数据库时，您可以执行< code>snapshot.exists()来检查某些数据是否存在。根据文件，没有类似的储存方法。 https://firebase.google.com/docs/reference/js/firebase.storage.Reference 检查某个文件是否存在于Firebase存储中的正确方法是什么？
-
简介 Lumen 有很棒的文件系统抽象层，是基于 Frank de Jonge 的 Flysystem 扩展包。 Lumen 集成的 Flysystem 提供了简单的接口，可以操作本地端空间、 Amazon S3 、 Rackspace Cloud Storage 。更好的是，它可以非常简单的切换不同保存方式，但仍使用相同的 API 操作！ 配置文件 文件系统的配置文件放在 config/file
-
问题内容： 我的一位客户要求为成千上万种不同格式（例如pdf，doc，docx等）的文档提供文档管理系统。我的问题是在数据库或文件系统中存储此文件的最佳方法是什么？两种方法之间如何轻松保护文档？ 快速检索文件是关键要求。 我正在使用mysql如果有帮助 问候。 问题答案： 您可能希望将其直接存储到文件系统中。 使用文件系统时，请注意： 机密性： 将文档放在Apache文档根目录之外。然后，您的PH
-
问题内容： 假设有两个Python脚本想要将数据写入到使用该模块存储在SQLite文件中的同一表中。SQLite文件存储在NFS文件系统上。在SQLite- FAQ中， 我读到： SQLite使用读取器/写入器锁来控制对数据库的访问。[…]但请小心：如果数据库文件保存在NFS文件系统上，则此锁定机制可能无法正常工作。这是因为fcntl（）文件锁定在许多NFS实现中都被破坏了。如果多个进程可能试图同
-
问题内容： 在做的选择谷歌浏览器，在那里我的文件系统做文件获取写的？在构建和调试此应用时，我想将文件放到那里并让Chrome与它们交互。 问题答案： 对我来说，至少在Mac OSX上，它们对于我来说存储在下面。如果您使用的是个人资料，则会有而不是的个人资料目录。但是，每个来源的已保存文件/文件夹都被混淆在您难以与之交互的目录下。 要调试Filesystem API，您可以选择以下几种方法： 使用此