Apache Hadoop纱线-芯线利用不足

Question

无论我如何修改yarn-site.xml中的设置，即使用以下所有选项

yarn.scheduler.minimum-allocation-vcores
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.maximum-allocation-vcores

我只是仍然无法让我的应用程序即Spark利用集群上的所有内核。火花执行器似乎正确地占用了所有可用内存，但每个执行器只保留一个内核，仅此而已。

以下是spark defaults中配置的选项。形态

spark.executor.cores                    3
spark.executor.memory                   5100m
spark.yarn.executor.memoryOverhead      800
spark.driver.memory                     2g
spark.yarn.driver.memoryOverhead        400
spark.executor.instances                28
spark.reducer.maxMbInFlight             120
spark.shuffle.file.buffer.kb            200

请注意，spark。执行人。cores设置为3，但不起作用。如何修复此问题？




Answer 1

匿名用户

我也有类似的问题，从我的代码中我设置了spark。执行人。芯线为5。尽管它只是取1，这是默认的核心。在spark UI和环境选项卡中，我看到了5个内核。但在检查executors选项卡时，我只能看到1个进程处于运行状态，与一个executor相对。我使用的是spark版本1.6.3。

因此，我尝试使用spark submit命令作为conf spark。执行人。cores=5这与使用5个cores一样工作正常

或者只是

-执行器-核心5这也有效。

Answer 2

问题不在于纱线位置。xml或spark默认值。conf，但实际上是使用资源计算器，将核心分配给执行器，或者在MapReduce作业的情况下，分配给映射器/还原器。

默认资源计算器，即组织。阿帕奇。hadoop。纱线util。资源DefaultResourceCalculator仅使用内存信息来分配容器，默认情况下不启用CPU调度。要同时使用内存和CPU，需要将资源计算器更改为org。阿帕奇。hadoop。纱线util。资源容量调度器中的DominantResourceCalculator。xml文件。

以下是需要改变的地方。

<property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>