使用spark-submit部署应用程序：应用程序已添加到调度程序，但尚未激活

Question

我有带Linux Centos 12g内存的VirtualBox。我需要将2个应用程序部署到以非分布式配置运行的hadoop中。这是我的纱线配置：

<configuration>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>0.0.0.0:8032</value>
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-vcores</name>
  <value>130</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
   <description>Whether virtual memory limits will be enforced for containers</description>
</property>
<property>
   <name>yarn.scheduler.maximum-allocation-mb</name>
   <value>4048</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
   <value>1</value>
   <description>Ratio between virtual memory to physical memory when
setting memory limits for containers</description>
</property>
<property>
   <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
   <value>1</value>
</property>
</configuration>

我部署第一个应用程序并使其正确运行：

spark-submit--主纱--部署模式客户端--名称oryxbatchlayer-alsexample-class com.cloudera.oryx.batch.main--文件oryx.conf--驱动程序--内存500M--驱动程序-java-options“-dconfig.file=oryx.conf”--executor-memory 500M--executor-cores 1--conf spark.executor.extrajavaoptions=“-dconfig.file=oryx.conf”--conf spark.io.compression.codec=lzf--conf

8088处的纱线管理器指示我正在使用8个vCore中的2个和8G内存中的2个：

现在我部署第二个应用程序：

spark-submit--主纱--部署模式客户端--名称oryxspeedlayer-alsexample-class com.cloudera.oryx.speed.main--文件oryx.conf--驱动程序--内存500M--驱动程序-java-options“-dconfig.file=oryx.conf”--executor-memory 500M--executor-cores 1--conf spark.executor.extrajavaoptions=“-dconfig.file=oryx.conf”--conf spark.io.compression.codec=lzf--conf

但这一次我得到了一个警告，似乎第二个应用程序被冻结了，至少它没有分配内存：

2018-08-06 04:49:10信息客户端：54-客户端令牌：N/A诊断:[Mon Aug 06 04:49:09-0400 2018]应用程序已添加到计划程序，但尚未激活。超过队列的AM资源限制。细节：AM分区=；AM资源请求=；AM=的队列资源限制；队列的用户AM资源限制=；队列AM资源使用量=；ApplicationMaster主机：n/a ApplicationMaster RPC端口：-1队列：默认开始时间：1533545349902最终状态：未定义跟踪URL：http://master:8088/proxy/application_1533542648791_0002/user:osboxs

问题的根源是什么？如何增加队列的AM资源限制和用户AM资源限制？

Answer 1

修复方法是编辑

~/hadoop-3.1.0/etc/hadoop/capacity-scheduler.xml

和更新。1到1：

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>1</value>
    <description>
      Maximum percent of resources in the cluster which can be used to run
      application masters i.e. controls number of concurrent running
      applications.
    </description>
  </property>