火花纱集群vs客户机-如何选择使用哪一个？

Question

spark文档中有以下段落描述了yarn客户机和yarn集群之间的区别：

有两种部署模式可用于在Yarn上启动Spark应用程序。在集群模式下，Spark驱动程序运行在由集群上的YARN管理的应用程序主进程中，客户端可以在启动应用程序后离开。在客户端模式下，驱动程序在客户端进程中运行，应用程序主程序仅用于从YARN请求资源。

Answer 1

一种常见的部署策略是从物理上与工作机器位于同一位置的网关机器提交应用程序（例如，独立EC2集群中的主节点）。在此设置中，客户端模式是合适的。在客户机模式下，驱动程序直接在spark-submit进程中启动，该进程充当集群的客户机。应用程序的输入和输出附加到控制台。因此，这种模式特别适用于涉及REPL的应用程序（例如Spark shell）。

或者，如果您的应用程序是从远离工作机器的机器提交的（例如，在本地笔记本电脑上），则通常使用集群模式来最小化驱动程序和执行程序之间的网络延迟。请注意，Mesos群集目前不支持群集模式。目前只有YARN支持Python应用程序的集群模式。“--提交应用程序

我从中理解的是，两种策略都使用集群来分配任务；不同之处在于“驱动程序”运行的位置：本地使用spark-submit，或者也在集群中。

null

AFAIK使用在集群中运行的驱动程序，它不太容易受到远程断开连接导致驱动程序和整个spark工作崩溃的影响。这对于长时间运行的工作（如流处理类型的工作负载）特别有用。