spark中的驱动程序和应用程序管理器有什么不同

Question

我不知道Spark驱动程序和应用程序主程序之间有什么区别。基本上是在运行一个应用程序中的职责，谁做什么？

在客户端模式下，客户端机器拥有驱动程序，应用程序主程序运行在集群节点中。在集群模式下，客户端没有任何驱动程序，驱动程序和应用程序主程序运行在同一个节点（集群节点之一）。

参考资料：

• 火花驱动程序内存和应用程序主内存
• 火花纱集群vs客户端-如何选择使用哪一个？

Answer 1

根据spark文档

火花驱动器：

驱动程序（又名驱动程序）负责将用户应用程序转换为更小的执行单元，称为任务，然后用执行器上的集群管理器调度它们运行。驱动程序还负责执行Spark应用程序并将状态/结果返回给用户。

简而言之，驱动程序将把您的自定义逻辑转换为阶段、作业和任务…您的应用程序主程序将确保从RM获得足够的资源，并确保检查容器中运行的任务的状态。

正如在您提供的参考中所说的，客户端模式和集群模式之间唯一的不同是

在客户机中，模式驱动程序将在我们执行/运行spark Application/Job的机器上运行，而AM在集群节点中运行。

https://www.edureka.co/community/1043/difference-biffer-application-master-application-manager#:~:text=the%20application%20master%20是%20resporated,class)%20on%20the%20greated%20containers。