如何处理Spark中的执行器内存和驱动程序内存？
-
null
-
null
为了进行简单的开发，我使用spark-submit在独立集群模式下（8个工作者、20个内核、45.3G内存）执行了我的Python代码。现在我想为性能调优设置执行器内存或驱动程序内存。
在Spark文档中，执行器内存的定义是
每个执行程序进程使用的内存量，格式与JVM内存字符串相同（例如512M、2G)。
共有1个答案
需要分配给驱动程序的内存取决于作业。
如果作业纯粹基于转换，并终止于一些分布式输出操作，如rdd.saveastextfile、rdd.savetoCassandra,...那么驱动程序的内存需求将非常低。几个100的MB就行了。驱动程序还负责传递文件和收集度量，但不参与数据处理。
如果作业需要驱动程序参与计算，例如，某些ML algo需要将结果具体化并在下一次迭代中广播，那么作业将取决于通过驱动程序的数据量。像.collection、.take和takesample这样的操作将数据传递给驱动程序，因此驱动程序需要足够的内存来分配这些数据。
-
我是Spark的初学者，我正在运行我的应用程序，从文本文件中读取14KB的数据，执行一些转换和操作（收集、收集AsMap），并将数据保存到数据库 我在我的macbook上本地运行它，内存为16G，有8个逻辑核。 Java最大堆设置为12G。 这是我用来运行应用程序的命令。 bin/spark-submit-class com . myapp . application-master local[*
-
我正在对YARN上的Spark作业进行一些内存调优，我注意到不同的设置会给出不同的结果，并影响Spark作业运行的结果。但是，我很困惑，不明白为什么会这样，如果有人能给我一些指导和解释，我会很感激。 我将提供一些背景资料和张贴我的问题和描述案例，我已经经历了他们在下面。 我的环境设置如下： 存储器20G，每个节点20个vCore（共3个节点） Hadoop 2.6.0 火花1.4.0 我的代码对R
-
我正在通过阅读高性能Spark来学习如何配置Spark应用程序，其中提到的一句话让我感到困惑： 根据我的经验，设置Spark驱动程序内存的良好启发式方法只是不会导致驱动程序内存错误的最低可能值，即为执行程序提供最大可能的资源。 我的理解是驱动程序存在于它自己的节点中，而执行程序独立存在于工作节点上。我本以为我可以最大限度地利用驱动程序内存，而不必担心它会影响执行程序。 这本书的建议是真的吗？如果是
-
我是一个新的spark框架，我想知道什么是驱动内存和执行器内存？从两者中获得最大性能的有效方法是什么？
-
我是否正确理解了客户端模式的文档？ 客户端模式与驱动程序在应用程序主程序中运行的集群模式相反？ 在客户端模式下，驱动程序和应用程序主程序是独立的进程，因此+必须小于计算机的内存？ 在客户端模式下，驱动程序内存不包括在应用程序主内存设置中吗？
-
我使用了Spark 2.1.1，并升级到了最新版本2.4.4。我从Spark UI观察到驱动程序内存在不断增加，在长时间运行之后，我出现了以下错误：java。lang.OutOfMemoryError：超出GC开销限制 在Spark 2.1.1中，驱动程序内存消耗（存储内存选项卡）极低，在运行ContextCleaner和BlockManager后，内存正在减少。 此外，我测试了Spark版本2.