如何优化Apache Spark应用中的shuffle溢出

Question

我正在运行一个有2个工作者的Spark流式应用程序。应用程序具有联接和联合操作。

所有批处理都成功完成，但注意到shuffle溢出度量与输入数据大小或输出数据大小不一致（溢出内存超过20次）。

对此进行研究后发现

注意到这个溢出内存的大小对于大的输入数据是难以置信的大。

我的问题是：

这种溢出对性能有很大影响吗？

有没有什么火花属性可以减少/控制这种巨大的溢出？

Answer 1

学习性能调整Spark需要相当多的调查和学习。有几个很好的资源包括这个视频。Spark1.4在界面中有一些更好的诊断和可视化功能，可以帮助您。

总而言之，当阶段结束时RDD分区的大小超过了可用于shuffle缓冲区的内存量时，就会溢出。

您可以：

1. 手动repartition()您的前一个阶段，以便从输入中获得更小的分区。
2. 通过增加执行程序进程(spark.executor.memory)中的内存来增加洗牌缓冲区
3. 通过从默认值0.2增加分配给它的执行程序内存(spark.shuffle.memoryfract)的部分来增加洗牌缓冲区。您需要返回spark.storage.memoryfraction。
4. 通过降低工作线程(spark_worker_cores)与执行程序内存的比率来增加每个线程的洗牌缓冲区

如果有专家在听，我很想知道更多关于memoryFraction设置是如何交互的，以及它们的合理范围。