了解mesos上spark作业的资源分配

Question

我在Spark上从事一个项目，最近从使用Spark Standalone切换到使用Mesos进行集群管理。现在，我发现自己对在新系统下提交作业时如何分配资源感到困惑。

在独立模式下，我使用的是这样的东西（以下是Cloudera博客文章中的一些建议：

/opt/spark/bin/spark-submit --executor-memory 16G --executor-cores 8 
    --total-executor-cores 240 myscript.py

这是一个集群，其中每台机器有16个内核和大约32 GB RAM。

这样做的好处是，我可以很好地控制运行的执行器的数量以及分配给每个执行器的资源。在上面的例子中，我知道我得到了240/8=30个执行器，每个执行器都有16GB的内存和8个内核。考虑到集群中每台机器上的内存，这相当于每台机器上运行的执行器不超过两个。如果我想要更多的遗嘱执行人，我可以这样做

/opt/spark/bin/spark-submit --executor-memory 10G --executor-cores 5 
    --total-executor-cores 240 myscript.py

这将为我提供240/5=47个执行器，每个执行器有5个内核和10GB内存，并且每台机器最多允许3个执行器。

但现在我在mesos上，我有点困惑了。首先，我以粗粒度模式运行，以确保我可以修复和控制我的资源分配（这是为我们想要预分配资源的相当复杂的模型服务的）。

现在，我可以指定执行器核心总数和执行器内存，但文档告诉我，执行器核心仅适用于Spark standalone和YARN，这使得指定执行器的总数和分配给每个执行器的资源非常困难。假设我运行此：

/opt/spark/bin/spark-submit --total-executor-cores 240 --executor-memory 16G --conf spark.mesos.coarse=true myscript.py

当我在Mesos web UI中检查这项工作时，事情开始变得混乱起来。下面是我的问题：

>

264/15=17.6，这似乎与我指定的每个执行器16GB的内存一致（我想还有一些开销）。我对这一切的解释对吗？

假设是，当我检查这些“任务”（执行者）时，我发现每个任务都分配了16个核心。假设我们每台机器有16个核，这似乎表明我基本上在16台机器中的每台机器上运行一个执行器，每个执行器都得到了完整的16个核，但只有16 GB的RAM。（请注意，即使我将执行器内存降到4GB左右，mesos仍然只是每个节点运行一个执行器，有16个内核和4GB RAM）。但我想要完成的是我的前两个例子。也就是说，我想在每个节点上运行多个执行器，每个执行器共享该节点的RAM和内核（即适度数量的内核预执行器，5-8）。考虑到我不能在Mesos中指定执行器核心，我该如何实现这一点？或者，我是否出于某种原因，甚至不想完成这项任务？Mesos会不会不允许每个节点有多个执行器？

Answer 1

关于1）

这也是我的理解。Mesos任务实际上是一个Spark执行器（Task）。

关于2）

根据我的理解，您应该能够使用spark.mesos.mesosExecutor.cores配置属性：

（仅限细粒度模式）给每个Mesos执行器的内核数。这不包括用于运行Spark任务的内核。换句话说，即使没有运行Spark任务，每个Mesos执行器也会占用此处配置的内核数。该值可以是浮点数。

看见

• http://spark.apache.org/docs/latest/running-on-mesos.html#spark-属性

Answer 2

问题1：在粗粒度模式下，Spark的执行器（org.apache.Spark.executor.roughGrainedExecutorBackend）作为Mesos任务启动。Mesos框架实际上是Spark驱动程序。一个Spark驱动程序可以提交多个Spark作业。这取决于您的Spark应用程序。Spark和Mesos都来自加州大学伯克利分校的AMPLab，并且是并行开发的，因此它们使用类似的术语（执行者、任务…）这可能会让您感到困惑：-）。

问题2：在粗粒度模式下，Spark每台主机只启动一个执行器（详情请参考https://issues.apache.org/jira/browse/SPARK-5095）。所以对于你的情况，Spark将为每台主机启动一个执行器（每个执行器消耗16G内存，以及主机中所有可用的内核，如果没有其他工作负载，则为16核），直到执行器的总内核达到240核。将有240/16=15个执行器。

关于spark。mesos。中胚层切割器。核心，它仅适用于细粒度模式。在细粒度模式下，Spark将为每个主机启动一个执行器（org.apache.Spark.executor.MesosExecutorBackend）。执行器消耗spark的核数。mesos。中胚层切割器。核心，即使没有任务。每个任务将消耗另一个数量的spark内核。任务CPU。