我们希望将Apache Flink与RocksDB后端(HDFS)一起用于有状态流处理。然而,我们的应用程序状态(键控状态)将以TB为单位。
据我所知,当我们从保存点恢复作业时,所有操作员状态数据都将从HDFS上的保存点位置传送到每个任务管理器。如果状态为TB量级,那么如果需要传输所有此状态,则每次部署都会导致很长的停机时间。
我想了解,在RocksDB的情况下,是否可以配置延迟加载,其中键控状态在需要时从HDFS检索,然后缓存在本地磁盘上。
非常感谢。
如果您使用的是RocksDB,并将Flink群集配置为使用本地恢复(您可以在此处阅读),则RocksDB文件的副本将保留在每个task manager的本地磁盘上,并且恢复几乎是即时的(除了必须旋转的任何新节点)。
但是,这并不真正适用于保存点,因为这种机制需要增量快照才能真正正常工作。
您可能想阅读整个文档页面,这是关于如何配置和优化使用大量状态的应用程序的。
描述 (Description) 延迟加载可应用于图像,背景图像和淡入效果,如下所述 - 对于图像 要在图像上使用延迟加载,请按照给定的步骤进行操作 - 使用data-src属性而不是src属性来指定图像源。 将类lazy添加到图像。 <div class = "page-content"> ... <img data-src = "image_path.jpg" class = "l
我正在使用Mika Tuupola的jQuery延迟加载。 是否可以在每次延迟加载图像后调用函数。 我打算做的是跟踪图像的浏览次数。因此,如果图像是延迟加载的,这意味着用户已经看到了图像,我将通过在后台执行HTTP GET,将数据库中的计数器增加1。
我需要从Rest控件获取一个实体及其集合,但我对spring data JPA有一个非常奇怪的行为。 我对带有懒惰加载的实体有一种莫名其妙的关系。
问题内容: 如果这是完全相同的内容,请纠正我,我知道这个话题经常被讨论,但是找不到确切的答案。 问题: 在MVC Web应用程序中处理Hibernate对象的最佳实用解决方案是什么? 细节: 我正在使用Hibernate,并希望在可能的情况下利用延迟加载。 我正在使用MVC风格的Webapp。 我讨厌获得延迟加载初始化异常。 我讨厌不得不在事务之间重新连接Hibernate对象。 选项: 渴望装载
问题内容: 我在JPA实体中的延迟加载属性有问题。我读过许多类似的问题,但它们与spring或hibernate有关,并且他们的后代不适用或没有帮助。 该应用程序是在Wildfly应用程序服务器上运行的JEE和JPA2.1。有两个实体,DAO会话bean和servlet将它们放在一起: 当我运行此代码时,它失败并显示: 我对WebLogic / JPA1使用了非常相似的模式,并且运行平稳。任何的想
问题内容: 我想知道在node.js中使用是否等效于延迟加载? 例如,如果我有一个函数需要代码中其他任何地方都不需要的特定node.js包,那么我最好在该函数内部使用它,以便仅在调用该函数时才包含所需的包。 我还不确定是否会由于缺乏对node.js架构的了解而在性能方面有所改善?我想它每次与服务器的连接都会使用更少的内存。但是,当它必须读取程序包时,它会增加磁盘的I / O吗,还是将其添加到内存中