spark检查点和Persisted to a disk之间的区别是什么

Question

spark检查点和persist to a Disk之间的区别是什么。这两个都存储在本地磁盘中吗？

Answer 1

有几个重要的区别，但根本的区别是什么发生与血统。persist/cache保持沿袭不变，而checkpoint中断沿袭。让我们考虑以下示例：

import org.apache.spark.storage.StorageLevel

val rdd = sc.parallelize(1 to 10).map(x => (x % 3, 1)).reduceByKey(_ + _)

>

缓存/持久:

val indCache  = rdd.mapValues(_ > 4)
indCache.persist(StorageLevel.DISK_ONLY)

indCache.toDebugString
// (8) MapPartitionsRDD[13] at mapValues at <console>:24 [Disk Serialized 1x Replicated]
//  |  ShuffledRDD[3] at reduceByKey at <console>:21 [Disk Serialized 1x Replicated]
//  +-(8) MapPartitionsRDD[2] at map at <console>:21 [Disk Serialized 1x Replicated]
//     |  ParallelCollectionRDD[1] at parallelize at <console>:21 [Disk Serialized 1x Replicated]

indCache.count
// 3

indCache.toDebugString
// (8) MapPartitionsRDD[13] at mapValues at <console>:24 [Disk Serialized 1x Replicated]
//  |       CachedPartitions: 8; MemorySize: 0.0 B; ExternalBlockStoreSize: 0.0 B; DiskSize: 587.0 B
//  |  ShuffledRDD[3] at reduceByKey at <console>:21 [Disk Serialized 1x Replicated]
//  +-(8) MapPartitionsRDD[2] at map at <console>:21 [Disk Serialized 1x Replicated]
//     |  ParallelCollectionRDD[1] at parallelize at <console>:21 [Disk Serialized 1x Replicated]

检查点:

val indChk  = rdd.mapValues(_ > 4)
indChk.checkpoint

indChk.toDebugString
// (8) MapPartitionsRDD[11] at mapValues at <console>:24 []
//  |  ShuffledRDD[3] at reduceByKey at <console>:21 []
//  +-(8) MapPartitionsRDD[2] at map at <console>:21 []
//     |  ParallelCollectionRDD[1] at parallelize at <console>:21 []

indChk.count
// 3

indChk.toDebugString
// (8) MapPartitionsRDD[11] at mapValues at <console>:24 []
//  |  ReliableCheckpointRDD[12] at count at <console>:27 []

检查点与缓存/持久不同，是与其他作业分开计算的。这就是为什么应该缓存标记为检查点的RDD：

强烈建议将此RDD持久化在内存中，否则将其保存在文件上将需要重新计算。

最后，checkpoint数据是持久的，在sparkcontext被销毁后不会被删除。

关于rdd.checkpoint使用的sparkcontext.setcheckpointdir数据存储，如果在非本地模式下运行，则需要dfs路径。否则也可以是本地文件系统。不复制的localcheckpoint和persist应使用本地文件系统。

重要提示：

RDD检查点与Spark Streaming中的检查点是不同的概念。前一个是针对沿袭问题设计的，后一个是针对流的可靠性和故障恢复问题设计的。