Spark fair计划不工作

Question

我正在调查使用spark作为REST API后端的适用性。其中的一个问题似乎是Spark的FIFO调度方法。这意味着，如果一个大任务正在执行中，那么在那个重任务完成之前，任何小任务都无法完成。根据https://spark.apache.org/docs/latest/job-scheduling.html，一个公平的调度程序应该可以解决这个问题。然而，我没有注意到这改变了什么。我配置的排定程序是否错误？

scheduler.xml：

<?xml version="1.0"?>
<allocations>
  <pool name="test">
    <schedulingMode>FAIR</schedulingMode>
    <weight>1</weight>
    <minShare>10</minShare>
  </pool>
</allocations>

$ pyspark --conf spark.scheduler.mode=FAIR --conf spark.scheduler.allocation.file=/home/hadoop/scheduler.xml
>>> import threading
>>> sc.setLocalProperty("spark.scheduler.pool", "test")
>>> def heavy_spark_job():
        # Do some heavy work
>>> 
>>> def smaller_spark_job():
        # Do something simple
>>> 
>>> threading.Thread(target=heavy_spark_job).start()
>>> smaller_spark_job()

只有当重型spark作业的第一个任务不需要所有可用的CPU核时,小型spark作业才能启动。

Answer 1

您只需要为您的任务设置不同的池：

默认情况下，每个池获得相同的集群份额（也等于默认池中的每个作业的份额），但在每个池中，作业按FIFO顺序运行。例如，如果您为每个用户创建一个池，这意味着每个用户将获得相同的集群份额，并且每个用户的查询将按顺序运行，而不是以后的查询从该用户的早期查询获取资源。

https://spark.apache.org/docs/latest/job-scheduling.html#default-behavior-of-pools

此外，在PySpark中，子线程不能继承父线程的本地属性，您必须在线程目标函数中设置池。