如何将local.jar文件传递到集群

Question

我有一个集群，有两个工人和一个主人。为了启动master和workers，我在master计算机中使用sbin/start-master.sh和sbin/start-slaves.sh。然后，master UI向我显示奴隶还活着（所以，到目前为止一切正常）。当我想使用spark-submit时，问题就出现了。

我在本地计算机中执行以下命令：

但是会弹出以下错误:error clientendpoint:来自集群的异常为:java.nio.file.nosuchfileexception://home/user/example.jar

我一直在研究stack overflow和Spark的文档，似乎应该将spark-submit命令的application-jar指定为“绑定jar的路径，包括应用程序和所有依赖项。URL必须在集群中全局可见，例如，所有节点上都存在的hdfs://path或file://path。”（如其所示https：//spark.apache.org/docs/latest/submitting-applications.html）。

我的问题是：如何将我的.jar设置为集群内全局可见？这里有一个类似的问题，Spark独立集群无法读取本地文件系统中的文件，但解决方案对我不起作用。

另外，我在主计算机中使用sbin/start-master.sh初始化集群，但在本地计算机中执行spark-submit是否做错了什么？我在master的终端中初始化master，因为我在Spark的文档中读到过，但这可能与问题有关。来自Spark的文档：

一旦设置了这个文件，就可以根据Hadoop的部署脚本使用以下shell脚本启动或停止集群，这些脚本可以在spark_home/sbin:[...]中获得请注意，这些脚本必须在要运行Spark master的计算机上执行，而不是在本地计算机上执行。

非常感谢

Answer 1

@Meisan，您的spark-submit命令缺少两件事。

• 您的jar应该添加标志--jar
• 包含驱动程序代码的文件，即主函数。

现在，如果使用scala或python，您没有指定任何位置，但简而言之，您的命令如下所示：

此外，当您使用文档化标志时，spark负责将所需的文件和JAR发送给执行器。如果要省略--driver-class-path标志，可以将环境变量SPARK_CLASSPATH设置为放置所有JAR的path。