当前位置: 首页 > 知识库问答 >
问题:

缓存和持久化有什么区别?

葛阳
2023-03-14

RDD持久性方面,spark中的cache()persist()有什么区别?

共有1个答案

越骏俊
2023-03-14

对于cache(),您只使用默认存储级别:

    RDD的
  • memory_only
  • 数据集的
  • memory_and_disk

通过persist(),您可以为RDD和DataSet指定所需的存储级别。

从正式文件来看:

  • 您可以使用persist()或cache()方法标记要持久化的RDD
  • 每个持久化的RDD可以使用不同的存储级别
  • 来存储
  • cache()方法是使用默认存储级别的缩写,默认存储级别是StorageLevel.Memory_Only(将反序列化的对象存储在内存中)。

如果要分配以下存储级别以外的存储级别,请使用persist()

    null

官方文档的有趣链接:选择哪个存储级别

 类似资料:
  • 和RDD相似,DStreams也允许开发者持久化流数据到内存中。在DStream上使用persist()方法可以自动地持久化DStream中的RDD到内存中。如果DStream中的数据需要计算多次,这是非常有用的。像reduceByWindow和reduceByKeyAndWindow这种窗口操作、updateStateByKey这种基于状态的操作,持久化是默认的,不需要开发者调用persist(

  • 本文向大家介绍RabbitMQ 持久化有什么缺点?相关面试题,主要包含被问及RabbitMQ 持久化有什么缺点?时的应答技巧和注意事项,需要的朋友参考一下 持久化的缺地就是降低了服务器的吞吐量,因为使用的是磁盘而非内存存储,从而降低了吞吐量。可尽量使用 ssd 硬盘来缓解吞吐量的问题。

  • 本文向大家介绍浅谈Webpack 持久化缓存实践,包括了浅谈Webpack 持久化缓存实践的使用技巧和注意事项,需要的朋友参考一下 前言 最近在看 webpack 如何做持久化缓存的内容,发现其中还是有一些坑点的,正好有时间就将它们整理总结一下,读完本文你大致能够明白: 什么是持久化缓存,为什么做持久化缓存? webpack 如何做持久化缓存? webpack 做缓存的一些注意点。 持久化缓存 首

  • 我使用JPA(Eclipse Link 2.5)进行持久性。我的Web应用程序包含AJAX页面更新。保存帖子时,发布的内容会在不刷新浏览器的情况下显示。该帖子具有使用OneTo多关系与之关联的标签。这些标签应该在保存后也会显示出来。但是,由于启用了缓存,我无法获取标签。 这是我的代码: 我怎样才能让事情运转起来?如何刷新一个实体及其所有关联的实体?谢了。

  • 两者都是序列化库,由谷歌开发人员开发。他们之间有什么大的区别吗?将使用协议缓冲区的代码转换为使用FlatBuffers需要大量工作吗?

  • 本文向大家介绍Html5应用程序缓存和Html浏览器缓存有什么区别?相关面试题,主要包含被问及Html5应用程序缓存和Html浏览器缓存有什么区别?时的应答技巧和注意事项,需要的朋友参考一下 新的HTML5规范允许浏览器在连接客户端时预取一些或全部网站资产,如HTML文件、图像、CSS、JavaScript等。对于获取此内容,用户以前没有必要访问此内容。换句话说,应用程序缓存可以预取完全未被访问的