为什么Spark每个执行器只使用一个核心？它如何决定使用除分区数以外的核？

Question

$SPARK_HOME/bin/spark-submit \
            --class se.uu.farmbio.vs.examples.DockerWithML \
            --master spark://$MASTER:7077 \
            --executor-memory 120G \
            --driver-memory 10G \

$SPARK_HOME/bin/spark-submit \
            --class se.uu.farmbio.vs.examples.DockerWithML \
            --master local[*] \
            --executor-memory 120G \
            --driver-memory 10G \

我在Spark UI上看到0个内核分配给executor，这是可以理解的，因为我们不再使用Spark独立集群模式。但是现在，当我在worker节点上检查top+1命令时，所有的内核都被利用了，这表明问题不在于应用程序代码，而在于spark独立模式对资源的利用。

那么，当spark有16个内核并且有足够的分区时，它是如何决定每个执行器使用一个内核的呢？我可以改变什么，以便它可以利用所有的核心？

我使用spark-on-slurm来启动这些工作。

(spark.app.name,DockerWithML)                       
(spark.jars,file:/proj/b2015245/bin/spark-vs/vs.examples/target/vs.examples-0.0.1-jar-with-dependencies.jar)                        
(spark.app.id,app-20170427153813-0000)                      
(spark.executor.memory,120G)                        
(spark.executor.id,driver)                      
(spark.driver.memory,10G)                       
(spark.history.fs.logDirectory,/proj/b2015245/nobackup/eventLogging/)                       
(spark.externalBlockStore.folderName,spark-75831ca4-1a8b-4364-839e-b035dcf1428d)                        
(spark.driver.maxResultSize,2g)                     
(spark.executorEnv.OE_LICENSE,/scratch/10230979/SureChEMBL/oe_license.txt)                      
(spark.driver.port,34379)                       
(spark.submit.deployMode,client)                        
(spark.driver.host,x.x.x.124)                       
(spark.master,spark://m124.uppmax.uu.se:7077)

--本地硕士[*]

(spark.app.name,DockerWithML)                                   
(spark.app.id,local-1493296508581)                                  
(spark.externalBlockStore.folderName,spark-4098cf14-abad-4453-89cd-3ce3603872f8)                                    
(spark.jars,file:/proj/b2015245/bin/spark-vs/vs.examples/target/vs.examples-0.0.1-jar-with-dependencies.jar)                                    
(spark.driver.maxResultSize,2g)                                 
(spark.master,local[*])                                 
(spark.executor.id,driver)                                  
(spark.submit.deployMode,client)                                    
(spark.driver.memory,10G)                                   
(spark.driver.host,x.x.x.124)                                   
(spark.history.fs.logDirectory,/proj/b2015245/nobackup/eventLogging/)                                   
(spark.executorEnv.OE_LICENSE,/scratch/10230648/SureChEMBL/oe_license.txt)                                  
(spark.driver.port,36008)

谢谢，

Answer 1

问题是您只有一个工作节点。在spark独立模式下，每个工作实例启动一个执行器。要启动多个逻辑辅助实例以便在一个物理辅助中启动多个执行器，您需要配置这个属性:SPARK_WORKER_INSTANCES

默认情况下，它被设置为1。您可以根据您在代码中所做的计算来相应地增加它，以利用您所拥有的资源数量。

您希望您的工作在执行器之间分配，以便正确地利用资源，但现在发生的情况是，只有一个执行器启动，它无法利用内核的数量和您拥有的内存量。因此，您没有得到spark分布式计算的味道。