为什么Spark要将映射相位输出保存到本地磁盘？

Question

我试图深入理解火花洗牌过程。当我开始阅读时，我发现了以下一点。

Spark在完成后将映射任务（ShuffleMapTask）输出直接写入磁盘。

如果有很多小的中间文件作为输出，spark如何处理网络和I/O瓶颈？

Answer 1

首先，Spark并不以严格的map-reduce方式工作，map输出不会写入磁盘，除非必要。向磁盘写入洗牌文件。

这并不意味着洗牌后的数据不保存在内存中。Spark中的Shuffle文件主要是为了避免在多个下游操作的情况下进行重新计算而编写的。为什么要写入文件系统？至少有两个交织的原因：

• 内存是一种宝贵的资源，而Spark中的内存缓存是短暂的。需要时可以从缓存中删除旧数据。
• 洗牌是一个昂贵的过程，如果没有必要，我们希望避免。以一种使洗牌数据在给定上下文的生存期内持久化的方式存储洗牌数据更有意义。

关于网络和I/O瓶颈，这里没有灵丹妙药。虽然Spark可以通过组合转换、在内存中缓存和提供转换感知的工作者首选项来减少写入磁盘或洗牌的数据量，但它与任何其他分布式框架一样受到相同的限制。