Spark submit是否会自动将jar上传到集群？

Question

我正在尝试从本地机器终端向我的集群提交一个Spark应用程序。我正在使用--master yarn-cluster。我也需要在我的集群上运行驱动程序，而不是在我提交应用程序的机器上，即我的本地机器上

当我提供到本地机器中的应用程序jar的路径时，spark-submit会自动上传到我的集群吗？

我在用

    bin/spark-submit 
--class com.my.application.XApp 
--master yarn-cluster --executor-memory 100m 
--num-executors 50 /Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 
1000

和获取错误

Diagnostics: java.io.FileNotFoundException: File file:/Users/nish1013/proj1/target/x-service-1.0.0-201512141101- does not exist

Answer 1

我看到你在引用Spark Docs的spark-submit页面，但我会花更多的时间在运行Spark on YARN页面上。底线，看看：

有两种部署模式可用于在Yarn上启动Spark应用程序。在yarn-cluster模式下，Spark驱动程序在集群上由YARN管理的应用程序主进程内运行，客户端可以在启动应用程序后离开。在yarn-client模式下，驱动程序运行在客户端进程中，应用程序主程序仅用于向Yarn请求资源。

您还注意到，“我也需要在我的集群上运行驱动程序，而不是在我提交应用程序的机器上，即我的本地机器上。”

因此，我同意您的观点，即运行--master yarn-cluster而不是--master yarn-client是正确的

（有一条注释指出，您删除了“assembly.jar”，这可能只是一个语法错误，但我认为这也适用...）

引入YARN时，关于非YARN实现的一些基本假设发生了很大变化，主要与类路径和向工作者推jars的需要有关。

来自Apache Spark用户列表上的电子邮件：

纱线簇模式。Spark submit会将您的JAR上传到集群。特别是，它将JAR放在HDFS中，这样驱动程序就可以从那里读取。与其他部署一样，执行程序从驱动程序中提取JAR。

所以最后，从Apache Spark YARN文档：

确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的（客户端）配置文件的目录。这些配置用于写入HDFS并连接到YARN ResourceManager。

注意：我只看到您添加了一个罐子，如果需要添加其他罐子，有一个关于用Yarn做这件事的特别注意：

背景技术，在使用spark-submit和option-deploy-mode集群的独立集群部署中，是的，您确实需要确保每个工作节点都可以访问所有的依赖项，Spark不会将它们推到集群。这是因为在以Spark作为作业管理器的“独立集群”模式下，您不知道驱动程序将运行在哪个节点上！但这不适用于你的案子。

但是如果可以的话，根据您上传的JAR的大小，我仍然会将JAR显式地放在每个节点上，或者通过HDFS“全局可用”，这是文档中的另一个原因：

从高级依赖项管理来看,它似乎提供了两全其美的效果,但也是手动将JAR推出到所有节点的一个很好的原因：

local：-以local：/开头的URI应该作为本地文件存在于每个工作节点上。这意味着不会产生网络IO,并且对于推送给每个工作者或通过NFS、GlusterFS等共享的大型文件/JAR很好地工作。

但我假设本地：/...会更改为HDFS：/...不确定。