Hadoop(EMR)集群公平调度器正在完成FIFO而不是并行

Question

这是我第一次尝试配置纱线调度器，但它不像我希望的那样工作。集群最初作为FIFO工作，我试图让作业并行运行。我已经在yarn-site.xml的顶部添加了

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>


  <property>
    <name>yarn.scheduler.fair.allocation.file</name>
    <value>/etc/hadoop/conf.empty/fair-scheduler.xml</value>  
  </property>

然后添加文件/etc/hadoop/conf.empty/fail-scheduler.xml：

<allocations>
    <queue name="root">
        <weight>1.0</weight>
        <schedulingPolicy>fair</schedulingPolicy>
        <aclSubmitApps> </aclSubmitApps>
        <aclAdministerApps>*</aclAdministerApps>
    </queue>
    <defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>
    <queuePlacementPolicy>
        <rule name="specified" create="true"/>
        <rule name="user" create="true"/>
    </queuePlacementPolicy>
</allocations>

因此，在这之后，我停止并启动了yarn资源管理器，我在yarn应用控制台上看到了Fair Scheduler！但是，当尝试在集群上运行多个作业时，AWS EMR控制台只显示一个作业正在运行，另外两个作业挂起。此外，YARN控制台只显示在队列root.hadoop中运行的一个作业，而看不到其他作业（这些作业将在该作业完成后运行）。

那么，如何使这些作业并行运行呢？

Answer 1

通过yarn-site.xml设置调度程序实际上是有效的。如果您拉出纱线资源管理器，调度程序实际上会显示更改，但问题是在提交AWS EMR步骤时。EMR步骤本质上是按顺序运行的，这意味着AWS在前一步完成之前不会向YARN提交下一个作业。于是一个人只好把工作直接交给纱线去看好处；然而，EMR步骤最近似乎发生了变化。如果使用EMR版本5.28.0，AWS EMR现在支持并行步骤执行:https://AWS.amazon.com/about-aws/whats-new/2019/11/amazon-emr-now-allock-yo-to-run-multiple-steps-in-parallec-running-steps-and-integrat-with-aws-steps-functions/。