如何利用spark独立集群中节点内存大小不同的所有核心和内存

Question

Node 1: 4cores 8gb memory
Node 2: 4cores 16gb memory

.config('spark.executor.memory','7g')
.config('spark.executor.cores', '4')

Cores       |  Memory
----------------------------------
4 (4 Used)  |  15.0 GiB (7.0 GiB Used)  
4 (4 Used)  |  7.0 GiB (7.0 GiB Used)

.config('spark.executor.memory','7g')
.config('spark.executor.cores', '2')

Cores       |  Memory
----------------------------------
4 (4 Used)  |  15.0 GiB (14.0 GiB Used) 
4 (2 Used)  |  7.0 GiB (7.0 GiB Used)

 8 cores 21gb of memory:

    Cores       |  Memory
    ----------------------------------
    4 (4 Used)  |  15.0 GiB (14.0 GiB Used) 
    4 (4 Used)  |  7.0 GiB (7.0 GiB Used)

参考：

1. Spark独立集群中的工作者、执行者、核心是什么？
2. 火花独立编号执行器/核心控件
3. 如何使用Spark独立集群在辅助节点上管理多个执行器？

Answer 1

最后答案很简单。我尝试了纱线，我有同样的问题与独立。我发现，通过在每个节点上的$spark_home/conf/spark-env.sh中设置，独立设置的解决方案最终非常简单：

对于节点1：（4核8GB内存）

SPARK_WORKER_CORES=4
SPARK_WORKER_MEMORY=7g

节点2：（4核16GB内存）

SPARK_WORKER_CORES=8
SPARK_WORKER_MEMORY=14g

.config('spark.executor.memory','7g')
.config('spark.executor.cores', '2')

 Cores       |  Memory
    ----------------------------------
    8 (8 Used)  |  14.0 GiB (14.0 GiB Used) 
    4 (4 Used)  |  7.0 GiB (7.0 GiB Used)

   <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>7168</value>
        </property>

        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>7168</value>
        </property>

        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>512</value>
        </property>

         <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>4</value>
        </property>

        <property>
              <name>yarn.scheduler.minimum-allocation-vcores</name>
              <value>1</value>
        </property>

        <property>
              <name>yarn.scheduler.maximum-allocation-vcores</name>
              <value>2</value>
        </property>