为什么Spark（在Google Dataproc上）不使用所有vCore？

Question

我在Google DataProc集群上运行spark作业。但Spark似乎没有使用集群中所有可用的vCore，如下所示

基于这样和这样的其他一些问题，我已经设置了集群以使用DominantResource计算器来考虑资源分配的vcpus和内存

gcloud dataproc clusters create cluster_name --bucket="profiling-
job-default" \
--zone=europe-west1-c \
--master-boot-disk-size=500GB \
--worker-boot-disk-size=500GB \
--master-machine-type=n1-standard-16 \
--num-workers=10 \
--worker-machine-type=n1-standard-16 \
--initialization-actions gs://custom_init_gcp.sh \
--metadata MINICONDA_VARIANT=2 \
--properties=^--^yarn:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

但当我提交带有自定义spark标志的作业时，看起来YARN不尊重这些自定义参数，默认使用内存作为资源计算的标准

gcloud dataproc jobs submit pyspark --cluster cluster_name \
--properties spark.sql.broadcastTimeout=900,spark.network.timeout=800\
,yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator\
,spark.dynamicAllocation.enabled=true\
,spark.executor.instances=10\
,spark.executor.cores=14\
,spark.executor.memory=15g\
,spark.driver.memory=50g \
src/my_python_file.py 

能帮助某人弄清楚这里发生了什么？

Answer 1

首先，由于启用了动态分配，因此应该设置属性spark。动态定位。maxExecutors和spark。动态定位。地雷执行器（参见https://spark.apache.org/docs/latest/configuration.html#dynamic-分配）

其次，确保spark工作中有足够的分区。当您使用动态分配时，yarn只分配足够的执行器来匹配任务（分区）的数量。因此，请检查SparkUI，您的作业（更具体的：阶段）的任务是否多于可用的vCore

Answer 2

我做错的是添加了配置。调度程序。容量资源计算器=组织。阿帕奇。hadoop。纱线util。资源主导资源计算器（DominantResourceCalculator）到纱线（YARN），而不是容量调度器（capacity scheduler）。创建集群时使用xml

其次，我改变了纱线：纱线。调度程序。初始设置为1的最小分配vcores。

我不确定这些更改中是否有一个或两个都导致了该解决方案（我将很快更新）。我的新群集创建如下所示：

gcloud dataproc clusters create cluster_name --bucket="profiling-
job-default" \
--zone=europe-west1-c \
--master-boot-disk-size=500GB \
--worker-boot-disk-size=500GB \
--master-machine-type=n1-standard-16 \
--num-workers=10 \
--worker-machine-type=n1-standard-16 \
--initialization-actions gs://custom_init_gcp.sh \
--metadata MINICONDA_VARIANT=2 \
--properties=^--^yarn:yarn.scheduler.minimum-allocation-vcores=4--capacity-scheduler:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator