sparkcontext.addjar在本地模式下不工作

Question

当spark作业中有需要的jar文件时，需要通过2种方式将其添加到spark作业中:
1。命令中的--jar path选项。
2。sparkcontext.addjar（“path”）。
有人能告诉我这两种方式之间的区别吗？
从这个问题来看，答案是它们是相同的，只是优先级不同，但我认为这不是真的。如果我在yarn集群模式下提交spark作业，那么根据官方站点，如果命令中的选项--jars中没有包含jar文件，那么addJar（）将不起作用。

如果您将sparkcontext.addjar函数与本地文件一起使用，并且运行在纱线集群模式下，则可以使用--jars选项。如果与HDFS、HTTP、HTTPS或FTP文件一起使用，则不需要使用它。

原因是驱动程序运行在与客户端不同的机器上。因此，命令中的选项--jars似乎来自客户端，而函数addjar()只能在驱动程序中的jar上工作。

然后我在本地模式下做了一个测试。

1.spark-shell--master local-jars path/to/jar

如果我以这种方式启动spark-shell，那么jar中的对象可以在spark-shell中使用

2.spark-shell--主本地

如果我以这种方式启动spark-shell，并使用sc.addjar（“path/to/jar”），jar文件中的对象无法导入spark-shell，并且我得到了类无法找到错误。

我的问题是：

我的环境：hortonworks 2.5集群和spark版本是1.6.2。如果有人能提供一些线索我很感激。

Answer 1

嗯，经过一番研究，我找到了原因。如果有其他人参与到这个问题中来，就在这里贴吧。

方法addJar()不将JAR添加到驱动程序的类路径中。该方法所做的是在驱动节点中查找JAR，分配到工作节点中，然后添加到执行器的类路径中。
因为我是以本地模式提交spark作业的，所以在spark作业中使用了驱动类路径（我猜），所以无法找到方法addJar()添加的JAR。

为了解决此问题，请在提交spark作业时使用--jars选项包含所有JAR，或使用--driver-class-path添加JAR.
更多详细信息可在此处找到。