在EMR集群外运行Spark客户端并连接到纱线

Question

我有以下情况：

1. 我在一家大公司工作。
2. 我们有一个EMR集群，其中Spark/Hadoop堆栈运行在Yarn上。
3. 我可以SSH到集群的主节点，从那里我可以创建Spark shell或spark-submit作业到Spark集群，没有任何问题。
4. 但是，我希望在我公司的服务器上运行Spark client，因为我们所有的代码库都位于那里，因此我有能力在该服务器上进行主动开发，因为我可以git克隆并推送到位于我公司服务器上的存储库。我不想将所有的公司代码转移到AWS的主节点来进行主动开发。
5. 那么，如何修改Spark设置以使用AWS的纱线作为资源管理器？
6. 我尝试将Spark installation（在/user/lib/Spark中）和Hadoop_conf_dir（在/etc/hadoop/conf中）从EMR集群的主节点复制到我公司的服务器上，但是Spark无法识别Yarn。

谢了。

编辑：在主题行和正文中将“驱动程序”改为“客户端”。

Answer 1

这在独立模式下是可能的，但在纱线模式下不行。

当spark在纱线模式下运行时，它无法控制执行者、AM和司机将坐在哪里。

Yarn检查每个任务节点上的内存使用情况和数据可用性，并在计算理想的地方旋转这些组件。

null