指定YARN节点标签时，YARN应用程序无法启动

Question

我试图使用YARN节点标签来标记工作节点，但当我在YARN上运行应用程序（Spark或simple YARN app）时，这些应用程序无法启动。

>

使用Spark时，当指定--conf Spark.yarn.am.nodelabelexpression=“my-label”时，作业无法启动（在提交的应用程序[...]上被阻止，请参见下面的详细信息）。

对于YARN应用程序（如distributedshell)，当指定-node_label_expression my-label时，应用程序两者都不能启动

以下是我到目前为止所做的测试。

我使用Google Dataproc运行我的集群（例如：4个worker，2个在可抢占节点上）。我的目标是强制任何YARN应用程序主程序运行在一个不可抢占的节点上，否则该节点随时可能被关闭，从而使应用程序难以失效。

我正在使用YARN属性(--properties)创建集群，以启用节点标签：

gcloud dataproc clusters create \
    my-dataproc-cluster \
    --project [PROJECT_ID] \
    --zone [ZONE] \
    --master-machine-type n1-standard-1 \
    --master-boot-disk-size 10 \
    --num-workers 2 \
    --worker-machine-type n1-standard-1 \
    --worker-boot-disk-size 10 \
    --num-preemptible-workers 2 \
    --properties 'yarn:yarn.node-labels.enabled=true,yarn:yarn.node-labels.fs-store.root-dir=/system/yarn/node-labels'

null

yarn rmadmin -addToClusterNodeLabels "my-label(exclusive=false)"
yarn rmadmin -replaceLabelsOnNode "\
    [WORKER_0_NAME].c.[PROJECT_ID].internal=my-label \
    [WORKER_1_NAME].c.[PROJECT_ID].internal=my-label"

当我运行一个简单的示例(sparkpi)而不指定有关节点标签的信息时：

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode client \
  /usr/lib/spark/examples/jars/spark-examples.jar \
  10

在YARN Web UI的Scheduler选项卡中，我看到应用程序在 .root.default 上启动。

但是当我运行指定Spark.yarn.am.nodelabelexpression以设置Spark应用程序主程序位置的作业时：

spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    --conf spark.yarn.am.nodeLabelExpression="my-label" \
    /usr/lib/spark/examples/jars/spark-examples.jar \
    10

null

我怀疑与标签分区相关的队列（不是 ，而是另一个）没有足够的资源来运行该作业：

这里，使用的应用程序主资源是 ，但是最大应用程序主资源是 。这解释了为什么应用程序无法启动，但我不知道如何改变这一点。

我尝试更新不同的参数，但没有成功：

yarn.scheduler.capacity.root.default.accessible-node-labels=my-label

yarn.scheduler.capacity.root.default.accessible-node-labels.my-label.capacity
yarn.scheduler.capacity.root.default.accessible-node-labels.my-label.maximum-capacity
yarn.scheduler.capacity.root.default.accessible-node-labels.my-label.maximum-am-resource-percent
yarn.scheduler.capacity.root.default.accessible-node-labels.my-label.user-limit-factor
yarn.scheduler.capacity.root.default.accessible-node-labels.my-label.minimum-user-limit-percent

hadoop jar \
    /usr/lib/hadoop-yarn/hadoop-yarn-applications-distributedshell.jar \
    -shell_command "echo ok" \
    -jar /usr/lib/hadoop-yarn/hadoop-yarn-applications-distributedshell.jar \
    -queue default \
    -node_label_expression my-label

应用程序无法启动，日志不断重复：

info distributedshell.client：从ASM获得应用程序报告，appid=6，clienttoAmtoken=null，appDiagnostics=application被激活，等待为AM分配资源。详细信息：AM Partition=my-label；分区资源= ；队列绝对容量=0.0%；队列绝对使用容量=0.0%；队列绝对最大容量=0.0%；,appmasterhost=n/a,appqueue=default,appmasterrpcport=-1,appstarttime=1520354045946,yarnappstate=accepted,distributedfinalstate=undefined,[...]

如果我没有指定-node_label_expression my-label，应用程序将在 .root.default 上启动并成功。

• 我是不是在标签上做错了什么？但是，我遵循了官方文档和本指南
• 这是与DataProc有关的特定问题吗？因为以前的指南似乎适用于其他环境
• 也许我需要创建一个特定的队列并将其与我的标签相关联？但是，由于我运行的是一个“一次性”集群来运行一个星星之火作业，所以不需要有特定的队列，所以在缺省根队列上运行作业对我的用例来说不是问题

感谢你的帮助




Answer 1

一位Google工程师回答了我们（关于我们提出的一个私人问题，而不是在PIT中），并通过指定Dataproc集群创建的初始化脚本给出了解决方案。我不认为问题来自Dataproc，这基本上只是纱线配置。在创建节点标签(my-label)之后，脚本在capactor-scheduler.xml中设置以下属性：

<property>
  <name>yarn.scheduler.capacity.root.accessible-node-labels</name>
  <value>my-label</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.accessible-node-labels.my-label.capacity</name>
  <value>100</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
  <value>my-label</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.default.accessible-node-labels.my-label.capacity</name>
  <value>100</value>
</property>

从脚本附带的注释来看，“在root（根队列）和root.default（默认队列应用程序实际运行）上设置accessible-node-labels”。root.default部分是我的测试中缺少的部分。两者的容量都设置为100。

然后，需要重新启动YARN(systemCTL restart hadoop-yarn-resourceManager.service)来验证修改。

希望对有同样问题或类似问题的人有所帮助。