火花驱动程序内存和执行器内存

Question

我是Spark的初学者，我正在运行我的应用程序，从文本文件中读取14KB的数据，执行一些转换和操作（收集、收集AsMap），并将数据保存到数据库

我在我的macbook上本地运行它，内存为16G，有8个逻辑核。

Java最大堆设置为12G。

这是我用来运行应用程序的命令。

bin/spark-submit-class com . myapp . application-master local[*]-executor-memory 2G-driver-memory 4G/jars/application . jar

我收到以下警告

2017-01-13 16:57:31.579[执行器任务启动工作人员-8hread]WARNorg.apache.spark.storage.MemoryStore-没有足够的空间来缓存内存中的rdd_57_0！

有谁能告诉我这里出了什么问题，以及我如何提高绩效？还有如何优化浮雕溢出？这是我的本地系统中发生的泄漏的视图

Answer 1

在本地模式下，您不需要指定master，使用默认参数是可以的。官方网站上说，“Spark的bin目录中的火花提交脚本用于在集群上启动应用程序。它可以通过统一的界面使用Spark支持的所有集群管理器，因此您不必为每个管理器专门配置应用程序。所以你最好在集群中使用火花提交，本地你可以使用火花壳。

Answer 2

运行具有过多内存的执行程序通常会导致过多的垃圾回收延迟。因此，分配更多内存不是一个好主意。由于您只有14KB数据，因此2GB执行器内存和4GB驱动程序内存绰绰有余。分配这么多内存是没有用的。您甚至可以用100MB内存运行此作业，性能将优于2GB。

在纱线集群模式下运行应用程序时，驱动程序内存更有用，因为应用程序主机运行驱动程序。在这里，您正在本地模式下运行应用程序。不需要驱动程序内存。您可以从作业中删除此配置。

在您的申请中，您已分配

Java Max heap is set at: 12G.
executor-memory: 2G 
driver-memory: 4G

总内存分配 = 16GB，而您的 Macbook 只有 16GB 内存。在这里，您已经将RAM内存的总和分配给了您的spark应用程序。

这并不好。操作系统本身消耗大约1GB的内存，而您可能正在运行的其他应用程序也消耗RAM内存。因此，您实际上分配的内存比您拥有的要多。这是您的应用程序抛出错误的根本原因没有足够的空间来缓存RDD

1. 将Java堆分配到12 GB是没有用的，需要将其减少到4GB或更小。
2. 将执行器内存减少到执行器内存1G或更少
3. 由于您在本地运行，请从您的配置中删除驱动程序内存。

提交您的作业。它将平稳运行。

如果您非常想了解火花内存管理技术，请参考这篇有用的文章。

关于纱线执行器资源分配的火花