Apache Spark：设置执行器实例不会更改执行器

Question

我有一个Apache Spark应用程序在集群模式下在YARN集群上运行（Spark在此集群上有3个节点）。

当应用程序运行时，Spark UI显示2个执行器（每个执行器在不同的节点上运行）和驱动程序在第三个节点上运行。我希望应用程序使用更多的执行器，所以我尝试添加参数--num executors to Spark submit并将其设置为6。

Spark-提交-驱动程序-内存3G-num-执行器6-类主。应用程序-执行器-内存11G-主纱-集群myJar.jar

然而，遗嘱执行人的人数仍为2人。

在spark UI上，我可以看到参数spark。执行人。实例是6个，正如我所期望的，但不知何故仍然只有2个执行者。

我甚至试着从代码中设置这个参数

sparkConf.set("spark.executor.instances", "6")

同样，我可以看到参数被设置为6，但仍然只有2个执行器。

有人知道我为什么不能增加遗嘱执行人的人数吗？

纱线节点管理器。资源纱线位置内存mb为12g。xml




Answer 1

匿名用户

要充分利用spark群集，您需要根据群集设置--num executors、--executor cores和--executor memory的值：

• <代码>--num executors命令行标志或spark。执行人。实例配置属性控制请求的执行器数量
• 执行器核心命令行标志或spark。执行人。cores配置属性控制执行器可以运行的并发任务数
• 执行器内存命令行标志或spark。执行人。内存配置属性控制堆大小

Answer 2

请注意，yarn.nodemanager.resource.memory-mb是单个NodeManager可以跨一个节点上的所有容器分配的总内存。

在您的例子中，由于yarn.nodemanager.resource.memory-mb=12G，如果您将分配给任何单个节点上所有YARN容器的内存相加，它不能超过12G。

您已经为每个Spark executor容器请求了11G（执行器内存11G）。虽然11G小于12G，但这仍然不起作用。为什么？

• 因为你必须考虑spark.yarn.executor.memoryOverhead，也就是min（执行内存*0.10,384）（默认情况下，除非你覆盖它）。

因此，以下数学必须成立：

<代码>火花。执行人。内存火花。纱线执行人。内存溢出

请参见：https://spark.apache.org/docs/latest/running-on-yarn.html有关spark的最新文档。纱线执行人。内存溢出

此外，<代码>火花。执行人。实例只是一个请求。应用程序的Spark ApplicationMaster将向Thread ResourceManager请求容器数=Spark。执行人。实例。ResourceManager将根据以下条件在NodeManager节点上授予请求：

• 节点上的资源可用性。纱线调度有自己的细微差别——这是一本关于纱线FairScheduler工作原理的好入门书

如果请求未被授予，当满足上述条件时，请求将被排队并授予。

Answer 3

增加yarn.nodemanager.resource.memory-mbyarn-site.xml

对于每个节点12g，您只能启动驱动程序（3g）和2个执行器（11g）。

Node1-驱动程序3g（7%开销）

节点2-执行器1 11g（7%开销）

节点3-执行器2 11g（7%开销）

现在您正在请求11g的执行器3，并且没有节点有11g可用存储器。

对于7%的开销，请参阅spark.yarn.executor.memory开销和spark.yarn.driver.memory开销https://spark.apache.org/docs/1.2.0/running-on-yarn.html