为什么vcore总是等于纱线上Spark中的节点数？

Question

我有一个包含5个节点的Hadoop集群，每个节点有12个核心，内存为32GB。我使用YARN作为MapReduce框架，因此我对YARN有以下设置：

• yarn.nodemanager.resource.cpu-vcores=10
• yarn.nodemanager.resource.memory-MB=26100

然后，我的YARN cluster页面（http://myhost:8088/cluster/apps）上显示的群集度量值显示vCores Total为40。这挺好的！

然后我在上面安装了Spark，并在yarn-client模式下使用spark-shell。

我使用以下配置运行了一个Spark作业：

• --驱动器-存储器20480M
• --执行器-内存20000M
• --数量-执行者4
• --执行程序-核心10
• --conf spark.yarn.am.cores=2
• --conf spark.yarn.executor.MemoryOverhead=5600

我将--executor-cores设置为10，--num-executors设置为4，因此逻辑上，应该总共使用了40个Vcores。但是，当我在Spark作业开始运行后检查相同的纱线群集页面时，只有4个vCore，4个Vcores总计

我还发现capacity-scheduler.xml中有一个参数--名为yarn.scheduler.capacity.resource-calculator:

“要用于比较计划程序中的资源的ResourceCalculator实现。默认值（即DefaultResourceCalculator仅使用内存，而DominantResourceCalculator使用dominant-resource来比较多维资源，如内存、CPU等）。”

然后我将该值更改为DominantResourceCalculator。

但是当我重新启动YARN并运行相同的Spark应用程序时，我仍然得到了相同的结果，比如说集群度量仍然告诉我们使用的VCores是4！我还用htop命令检查了每个节点上的CPU和内存使用情况，我发现没有一个节点的10个CPU核都被完全占用。原因会是什么呢？

我还尝试以细粒度的方式运行相同的Spark作业，例如使用--num executors40--executor-cores1，以这种方式，我再次检查了每个工作节点上的CPU状态，并且所有CPU核都已被完全占用。

Answer 1

我也想知道同样的问题，但更改资源计算器对我有用。
这是我设置属性的方式：

    <property>
        <name>yarn.scheduler.capacity.resource-calculator</name>      
        <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>       
    </property>

在应用程序的YARN UI中检查分配了多少个容器和vcore，改变后容器的数量应该是executors+1，而vcores应该是:(executor-cores*num-executors)+1。