在运行火花作业时，根据公平的份额，纱线不抢占资源

Question

我在重新平衡YARN Fair计划队列上的Apache Spark jobs资源时遇到了一个问题。

在测试中，我配置了Hadoop2.6（也尝试了2.7）在macOS上使用本地HDFS以伪分布式模式运行。对于工作提交使用“预构建Spark1.4用于Hadoop2.6和更高版本”（尝试1.5也）从Spark的网站分发。

在Hadoop MapReduce作业上使用基本配置进行测试时，Fair Scheduler的工作与预期一致：当集群的资源超过某个最大值时，将计算公平共享，并根据这些计算抢占和平衡不同队列中作业的资源。

$hadoop_home/etc/hadoop/yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
      <value>org.apache.spark.network.yarn.YarnShuffleService</value>
   </property>
   <property>
      <name>yarn.resourcemanager.scheduler.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
   </property>
   <property>
      <name>yarn.scheduler.fair.preemption</name>
      <value>true</value>
   </property>
</configuration>

$hadoop_home/etc/hadoop/fair-scheduler.xml

<?xml version="1.0" encoding="UTF-8"?>
<allocations>
   <defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>
   <queue name="prod">
      <weight>40</weight>
      <schedulingPolicy>fifo</schedulingPolicy>
   </queue>
   <queue name="dev">
      <weight>60</weight>
      <queue name="eng" />
      <queue name="science" />
   </queue>
   <queuePlacementPolicy>
      <rule name="specified" create="false" />
      <rule name="primaryGroup" create="false" />
      <rule name="default" queue="dev.eng" />
   </queuePlacementPolicy>
</allocations>

$hadoop_home/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
   </property>
</configuration>

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
</configuration>

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--driver-memory 512M \
--executor-memory 768M \
--executor-cores 1 \
--num-executors 2 \
--queue prod \
lib/spark-examples*.jar 100000

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--driver-memory 512M \
--executor-memory 768M \
--executor-cores 1 \
--num-executors 2 \
--queue dev.eng \
lib/spark-examples*.jar 100000

Answer 1

您需要在分配XML中设置一个抢占超时。一个代表最低份额，一个代表公平份额，都是以秒为单位。默认情况下，不设置超时。

摘自Hadoop：权威指南第4版

如果队列等待其最小共享抢占超时时间，而没有接收到其最小保证共享，则调度器可以抢占其他容器。通过分配文件中的defaultMinSharePreemptionTimeout顶级元素为所有队列设置默认超时，并通过为队列设置minSharePreemptionTimeout元素为每个队列设置默认超时。