如何在Apache Flink中将检查点存储到远程RocksDB中

Question

我知道Apache Flink中有三种状态后端：MemoryStateBend、FSStateBend和RockSDBStateBend。

MemoryStateBindend将检查点存储到本地RAM中，FSStateBindend将检查点存储到本地文件系统中，RockSDBStateBindend将检查点存储到RocksDB中。我对RocksDBStateBend有一些问题。

据我所知，RocksDBStateBend的机制已经嵌入到Apache Flink中。rocksDB是一种键值DB。因此，如果我是对的，这意味着Flink将把所有检查点存储到使用本地磁盘的嵌入式rocksDB中。

如果是这样，我认为磁盘在某些情况下可能会耗尽，因为检查点存储在rocksDB中。现在我在想，是否可以配置远程rocksDB来存储这些检查点？如果可能，我们是否应该担心远程rocksDB崩溃？如果远程rocksDB崩溃，Flink的工作将无法继续工作，对吗？

Answer 1

RocksDB可以与Flink支持的任何文件系统一起使用https://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/

如果您正在运行Flink，可能需要检查点，然后从中恢复。

我会将存储外部化到节点之外。如果您使用的是像AWS这样的云提供商，那么S3是正确的选择。

因此，您可能应该编写如下内容：newrocksdbstatebend（“s3://my bucket”，true） 并将其分配给执行环境。

请检查以上文档以正确配置文件系统。

Answer 2

没有将外部或远程RocksDB与Apache Flink一起使用的选项。RocksDB是一个嵌入式键值存储，每个任务管理器中都有一个本地实例。

几点：

>

Flink对工作状态（始终是本地的）和状态快照（检查点和保存点）进行了强有力的区分，前者是本地的（为了可靠性，它们应该存储在分布式文件系统中）。

RocksDBStateBend使用本地磁盘作为工作状态。其他两个状态后端在Java堆上保持其工作状态。

检查点协调器安排将分散在所有任务管理器中的所有这些数据片段收集到一起，形成存储在其他地方的完整检查点。对于MemoryStateBend，这些检查点存储在JobManager堆上；对于另外两个，它们位于分布式文件系统中。

您希望将RocksDB配置为使用最快的可用本地文件系统。尽量使用本地连接的SSD，避免使用网络连接存储（如EBS）。不要试图使用分布式文件系统（如S3）作为RocksDB的本地存储。

<代码>状态。后端。rocksdb。localdir控制每个本地RocksDB存储其工作状态的位置。

RocksDBStateBackend构造函数的参数控制检查点的存储位置。例如，在AWS上使用@ezEquiel推荐的S3是显而易见的选择。