Apache flink：RocksDB后端保存点的延迟加载
我们希望将Apache Flink与RocksDB后端（HDFS）一起用于有状态流处理。然而，我们的应用程序状态（键控状态）将以TB为单位。
据我所知，当我们从保存点恢复作业时，所有操作员状态数据都将从HDFS上的保存点位置传送到每个任务管理器。如果状态为TB量级，那么如果需要传输所有此状态，则每次部署都会导致很长的停机时间。
我想了解，在RocksDB的情况下，是否可以配置延迟加载，其中键控状态在需要时从HDFS检索，然后缓存在本地磁盘上。
非常感谢。
共有1个答案
如果您使用的是RocksDB，并将Flink群集配置为使用本地恢复（您可以在此处阅读），则RocksDB文件的副本将保留在每个task manager的本地磁盘上，并且恢复几乎是即时的（除了必须旋转的任何新节点）。
但是，这并不真正适用于保存点，因为这种机制需要增量快照才能真正正常工作。
您可能想阅读整个文档页面，这是关于如何配置和优化使用大量状态的应用程序的。
-
描述 (Description) 延迟加载可应用于图像，背景图像和淡入效果，如下所述 - 对于图像 要在图像上使用延迟加载，请按照给定的步骤进行操作 - 使用data-src属性而不是src属性来指定图像源。 将类lazy添加到图像。 <div class = "page-content"> ... <img data-src = "image_path.jpg" class = "l
-
我正在使用Mika Tuupola的jQuery延迟加载。 是否可以在每次延迟加载图像后调用函数。 我打算做的是跟踪图像的浏览次数。因此，如果图像是延迟加载的，这意味着用户已经看到了图像，我将通过在后台执行HTTP GET，将数据库中的计数器增加1。
-
我需要从Rest控件获取一个实体及其集合，但我对spring data JPA有一个非常奇怪的行为。 我对带有懒惰加载的实体有一种莫名其妙的关系。
-
问题内容： 如果这是完全相同的内容，请纠正我，我知道这个话题经常被讨论，但是找不到确切的答案。 问题： 在MVC Web应用程序中处理Hibernate对象的最佳实用解决方案是什么？ 细节： 我正在使用Hibernate，并希望在可能的情况下利用延迟加载。 我正在使用MVC风格的Webapp。 我讨厌获得延迟加载初始化异常。 我讨厌不得不在事务之间重新连接Hibernate对象。 选项： 渴望装载
-
问题内容： 我在JPA实体中的延迟加载属性有问题。我读过许多类似的问题，但它们与spring或hibernate有关，并且他们的后代不适用或没有帮助。 该应用程序是在Wildfly应用程序服务器上运行的JEE和JPA2.1。有两个实体，DAO会话bean和servlet将它们放在一起： 当我运行此代码时，它失败并显示： 我对WebLogic / JPA1使用了非常相似的模式，并且运行平稳。任何的想
-
问题内容： 我想知道在node.js中使用是否等效于延迟加载？ 例如，如果我有一个函数需要代码中其他任何地方都不需要的特定node.js包，那么我最好在该函数内部使用它，以便仅在调用该函数时才包含所需的包。 我还不确定是否会由于缺乏对node.js架构的了解而在性能方面有所改善？我想它每次与服务器的连接都会使用更少的内存。但是，当它必须读取程序包时，它会增加磁盘的I / O吗，还是将其添加到内存中