Apache Spark如何实现洗牌阶段？

Question

rddB = rddA.map1.groupByKey();
rddX = rddB.map2.map3.saveAsTextFile();
rddY = rddB.map4.map5.saveAsTextFile();

它是否执行map1，然后按键分区，并将中间数据保存在磁盘（内存）上？

然后读取中间文件2次，一次用于map2 map3分支，第二次用于map4 map5，而不再次计算rddB，即使我们没有在rddB上执行隐式缓存？

Answer 1

不，Spark的行为方式略有不同。首先，Spark在遇到您所写的行时实际上并不执行操作，但它创建了要执行的操作的DAG以获得给定的RDD或结果。事实上，Spark的操作分为两大类：转换和动作；它只在遇到操作时执行它们。

此外，Spark只有在您告诉它这样做时才html" target="_blank">存储中间结果，即在RDD上调用persist或cache时。如果不这样做，它将执行所有的操作以获得给定的结果，直到DAG的根（即从文件中读取结果）。

前面的说法并不是真的。事实上，手册上说这里

Spark还在shuffle操作（例如reduceByKey）中自动保存一些中间数据，即使用户不调用persisted。这样做是为了避免重新计算整个输入，如果一个节点在洗牌期间失败。我们仍然建议用户如果计划重用RDD的话，就调用persist。