如何在纱线中配置垄断的FIFO应用队列？

Question

我需要禁用hadoop集群中YARN应用程序的并行执行。现在，YARN有了默认设置，因此几个作业可以并行运行。我看不出这样做有什么好处，因为这两个工作都运行得比较慢。

我发现这个设置yarn.scheduler.capacity.maximum-applications限制了应用程序的最大数量，但它同时影响提交和运行的应用程序（如文档中所述）。我想保持在队列中提交的应用程序，直到当前运行的应用程序没有完成。这怎么能做到呢？

Answer 1

1）将计划程序更改为FairScheduler

Hadoop发行版默认使用CapacityScheduler（Cloudera使用FairScheduler作为默认调度程序）。将此属性添加到yarn-site.xml

<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

2）设置默认队列

<property>
  <name>yarn.scheduler.fair.user-as-default-queue</name>
  <value>false</value>
</property>

现在作业队列已被限制为一个default队列。将该队列中可以运行的应用程序的最大数量限制为1。

在$HADOOP_CONF_DIR下创建一个名为fail-scheduler.xml的文件，并添加以下条目

<allocations>
   <queueMaxAppsDefault>1</queueMaxAppsDefault>
</allocations>

此外，在yarn-site.xml中添加此属性

<property>
  <name>yarn.scheduler.fair.allocation.file</name>
  <value>$HADOOP_CONF_DIR/fair-scheduler.xml</value>
</property>