应用程序主程序或集群管理器是否启动容器/执行器-火花？

Question

假设我们有一个在集群模式下运行的spark作业，其中集群管理器是Yarn。

null

Answer 1

1. 提交给纱线的Spark申请将转换为纱线
   申请。
2. 因此，当客户机向资源管理器（Yarn组件）提交新的应用程序/作业请求时。
3. 资源管理器(RM)接受作业请求并分配
   容器来启动给定应用程序/作业的应用程序主程序。
   应用程序主程序可以被认为是一个专用容器，
   将管理/监视应用程序/作业任务。
4. 应用程序主机向资源管理器发送请求，请求
   运行应用程序/作业所需的资源。
5. 资源管理器返回一个容器列表和
   可以在其上生成的salve节点列表。
6. 应用程序主程序在每个指定的salve节点上启动容器（如果spark调用为
   执行器）。

首先要了解的事实是：每个Spark executor都作为一个纱线容器运行。这一点以及应用程序的Spark执行器是固定的，分配给每个执行器的资源也是固定的，因此Spark应用程序在整个持续时间内都占用资源。这与MapReduce应用程序形成鲜明对比，MapReduce应用程序经常在每个任务结束时返回资源，并在下一个任务开始时再次分配资源。