在单独的机器上运行火花驱动器

Question

目前，我正在群集模式（独立群集）下使用Spark 2.0.0，群集配置如下：

工作线程：使用了4个内核：总共32个，使用了32个内存：总共54.7 GB，使用了42.0 GB

我有4个奴隶（工人）和1台主机。火花盘有三个主要部件-主部件、驱动部件、工作部件（参考）

现在我的问题是，驱动程序正在其中一个工作节点中启动，这阻碍了我在其全部容量（RAM方面）中使用工作节点。例如，如果我在运行spark作业时使用2g内存作为驱动程序内存，那么我在每台机器上只剩下13gb内存作为执行器内存（假设每台机器的RAM总量为15gb）。现在我认为有两种方法可以解决这个问题：

1） 在主机上运行驱动程序，这样我可以指定完整的15gb RAM作为执行器内存

2）显式指定驱动程序机器（工作节点之一），并相应地为该机器的驱动程序和执行器分配内存。对于其余的工作节点，我可以指定最大执行器内存。

我如何实现第1点或第2点？或者它甚至是可能的？
任何指向它的指针都将受到赞赏。

Answer 1

要在主机上运行驱动程序，请从主机上运行spark submit并指定部署模式客户端。使用spark submit启动应用程序。

使用--部署模式集群时，无法指定驱动程序将在哪个工作器上运行。但是，如果您使用集群管理器（例如yarn或Mesos），您可以在工作器上运行驱动程序并实现最大的集群利用率。