如何设置Spark执行器内存？
我已经将spark.executor.memory设置为2048M，在UI“环境”页面中，我可以看到这个值已经设置正确。但是在“executors”页面中，我看到只有一个executor，它的内存是265.4MB。非常奇怪的价值。为什么不是256MB，或者就像我设定的那样？
共有1个答案
UI上的“Executors”选项卡也将驱动程序包含在列表中。它的“执行程序ID”被列为
。此进程不是由Spark启动的，因此不受Spark.executor.memory的影响。
- 如果使用
spark-submit启动驱动程序，则其最大内存可由spark.driver.memory或--driver-memory控制
- 如果您将其作为普通的旧Java程序启动，请使用通常的
-xmxJava标志。
-
问题内容： 如何从Java（或Scala）代码中配置具有和的执行器数量？我经常看到2个执行者。看起来像是行不通的，并且是与众不同的。 我只需要将执行程序的数量设置为等于集群大小，但是总是只有2个。我知道我的集群大小。如果这很重要，我会在YARN上运行。 问题答案： 好的，我知道了。执行程序的数量实际上不是Spark属性本身，而是用于在YARN上放置作业的驱动程序。因此，当我使用SparkSubmi
-
我在纱线簇（HDP 2.4）中使用Spark，设置如下： 1主节点 64 GB RAM(48 GB可用） 12核（8核可用） 每个64 GB RAM(48 GB可用） 每个12核（8核可用） null
-
如何增加Apache spark executor节点可用的内存？ 我有一个2 GB的文件，适合加载到Apache Spark。我目前正在1台机器上运行apache spark，因此驱动程序和执行程序在同一台机器上。这台机器有8 GB内存。 我尝试了这里提到的各种东西，但我仍然得到错误，并没有一个明确的想法，我应该改变设置。 我正在从spark-shell交互地运行我的代码
-
我有一个Apache Spark应用程序在集群模式下在YARN集群上运行（Spark在此集群上有3个节点）。 当应用程序运行时，Spark UI显示2个执行器（每个执行器在不同的节点上运行）和驱动程序在第三个节点上运行。我希望应用程序使用更多的执行器，所以我尝试添加参数--num executors to Spark submit并将其设置为6。
-
null null 为了进行简单的开发，我使用在独立集群模式下（8个工作者、20个内核、45.3G内存）执行了我的Python代码。现在我想为性能调优设置执行器内存或驱动程序内存。 在Spark文档中，执行器内存的定义是 每个执行程序进程使用的内存量，格式与JVM内存字符串相同（例如512M、2G)。
-
问题内容： 我试图找出Linux上是否存在程序，并且找到了本文。我尝试从go程序中执行此操作，但它始终提示我无法在$ PATH中找到“命令”，这是预料之中的，因为它是Linux中的内置命令，而不是二进制文件。所以我的问题是如何从go程序中执行linux的内置命令？ 错误：执行：“命令”：在$ PATH中找不到可执行文件 问题答案： 就像那篇文章说的那样，“命令”是内置的shell。您可以通过go本