火花：混洗写入、混洗溢出（内存）、混洗溢出（磁盘）之间的区别？

Question

我有下面的spark工作，努力把一切都留在记忆中：

val myOutRDD = myInRDD.flatMap { fp =>
  val tuple2List: ListBuffer[(String, myClass)] = ListBuffer()
        :

  tuple2List
}.persist(StorageLevel.MEMORY_ONLY).reduceByKey { (p1, p2) =>
   myMergeFunction(p1,p2)
}.persist(StorageLevel.MEMORY_ONLY)

然而，当我查看作业跟踪器时，我仍然有很多Shuffle Write和Shuffle spill到磁盘...

Total task time across all tasks: 49.1 h
Input Size / Records: 21.6 GB / 102123058
Shuffle write: 532.9 GB / 182440290
Shuffle spill (memory): 370.7 GB
Shuffle spill (disk): 15.4 GB

然后作业失败，因为“设备上没有剩余空间”...我想知道这里的532.9GB混洗写入，是写入磁盘还是内存？

Answer 1

如果不多次访问RDD，代码中的persist调用就会被完全浪费。如果你从未访问过它，那么存储它又有什么意义呢？缓存与shuffle行为没有关系，只是您可以通过缓存它们的输出来避免重新执行shuffle。

洗牌溢出由spark.Shuffle.spill和spark.Shuffle.memoryfraction配置参数控制。如果启用了spill（默认情况下是这样），那么如果洗牌文件开始使用的值超过memoryfract给定的值（默认情况下为20%），则洗牌文件将溢出到磁盘。

这些指标非常混乱。我对代码的理解是，“shuffle spill（memory）”是当内容溢出到磁盘时释放的内存量。“shuffle spill（disk）”的代码看起来是实际写入磁盘的数量。根据“shuffle write”的代码，我认为这是直接写入磁盘的量-- ，而不是从排序器溢出的量。