缓存与本地检查点以及如何阻止火花删除它？

Question

我知道localCheckpoint删除了重建RDD所需的历史记录。并且缓存正在保存RDD的当前状态，因此不需要重建它。

然而，我在一些方面感到困惑。如果我做了＜code＞localCheckpoint＜/code＞，并且我稍后在代码中需要这个RDD，那么我经常会得到一个＜code＞异常＜/code〕，说明分区是如何找不到的。

我查看了SparkUI中的存储选项卡，它说只有一小部分RDD被保存，比如17%。

所以我读了更多，意识到火花会丢弃旧的RDD。有没有办法让火花永远保留它？

另外，如果我使用的是< code>cache而不是< code>localCheckpoint，问题会解决吗？但这需要时间，因为Spark必须重新计算分区？

总的来说，我只是想在我工作的很大一部分时间里在内存中保留一个RDD，以便能够在最后将它合并回来，但当我到达那里时，Spark已经删除了它。我该如何解决这个问题？

执行< code > local check point . cache 或< code > cache . local check point 有什么作用吗？还是非此即彼就够了？

Answer 1

设置spark.dynamicAllocation.cachedExecutorIdleTimeout为高值，如果您想在工作的很长一段时间内将RDD保留在内存中。

Answer 2

是否有理由需要使用本地检查点与检查点？当使用本地检查点时，您的截断没有复制，速度更快，但可靠性要低得多，这可能是您遇到问题的地方。

保存位置的一般差异：

缓存正在保存到内存（如果内存到磁盘太大），检查点将直接保存到磁盘<如果内存已满，则可以覆盖code>cache和persistent（如果您自己或其他人正在同一个集群上工作，则可以由他们自己或他人），并且如果您的集群终止或重新启动，则会清除它们checkpoint将持久化到HDFS或本地存储，只有手动执行时才会删除。每个都有不同的目的。

更多详情（强烈推荐阅读）：

https://github.com/JerryLead/SparkInternals/blob/master/markdown/english/6-CacheAndCheckpoint.md

做localCheckpoint.cache或cache.localCheckpoint有什么作用吗？还是一个或另一个就足够了？

在检查点之前缓存checkpoint在它自己的作业上运行，因此如果RDD被缓存，它将从缓存中提取，而不是重新运行它。