火花提交纱线簇与--罐子不起作用？

Question

我试图通过以下命令向CDH纱线集群提交spark作业

我试过几种组合，但都不起作用。。。现在，我的本地/root以及HDFS/user/root/lib中都有所有poi JAR，因此我尝试了以下方法

spark-submit --master yarn-cluster --class "ReadExcelSC" ./excel_sc.jar --jars /root/poi-3.12.jars, /root/poi-ooxml-3.12.jar, /root/poi-ooxml-schemas-3.12.jar

spark-submit --master yarn-cluster --class "ReadExcelSC" ./excel_sc.jar --jars file:/root/poi-3.12.jars, file:/root/poi-ooxml-3.12.jar, file:/root/poi-ooxml-schemas-3.12.jar

spark-submit --master yarn-cluster --class "ReadExcelSC" ./excel_sc.jar --jars hdfs://mynamenodeIP:8020/user/root/poi-3.12.jars,hdfs://mynamenodeIP:8020/user/root/poi-ooxml-3.12.jar,hdfs://mynamenodeIP:8020/user/root/poi-ooxml-schemas-3.12.jar

如何将JAR分发到所有集群节点？因为上面这些都不起作用，作业仍然无法引用该类，因为我一直收到相同的错误：

java.lang.NoClassDefFoundError: org/apache/poi/ss/usermodel/WorkbookFactory

同样的命令也适用于“--master本地”，但没有指定--jar，因为我已经将我的jar复制到 /opt/cloudera/parcels/CDH/lib/spark/lib.

然而，对于纱线集群模式，我需要将外部jar分发到所有集群，但上面的代码不起作用。

感谢你的帮助，谢谢。

p、 我正在使用CDH5。4.2带火花1.3.0

Answer 1

你有没有尝试过这个帖子中的解决方案：Spark on thread jar上传问题

通过复制火花组件解决了该问题。将jar放入hdfs上每个节点的目录中，然后将其传递给spark submit--conf spark。纱线jar作为参数。命令如下所示：

hdfs dfs -copyFromLocal /var/tmp/spark/spark-1.4.0-bin-hadoop2.4/lib/spark-assembly-1.4.0-hadoop2.4.0.jar /user/spark/spark-assembly.jar 

/var/tmp/spark/spark-1.4.0-bin-hadoop2.4/bin/spark-submit --class MRContainer --master yarn-cluster  --conf spark.yarn.jar=hdfs:///user/spark/spark-assembly.jar simplemr.jar

Answer 2

根据Spark提交的帮助选项

>

--JAR包括要包含在驱动程序和执行器类路径上的本地JAR。[它只会设置路径]

---file将复制应用程序运行所需的jar到执行器节点的所有工作目录[它将传输您的jar到工作目录]

注意：这类似于hadoop streaming中的-file选项，它将映射器/还原器脚本传输到从属节点。

因此，也可以尝试使用--files选项。

$ spark-submit --help
Options:
  --jars JARS                 Comma-separated list of local jars to include on the driver
                              and executor classpaths.
  --files FILES               Comma-separated list of files to be placed in the working
                              directory of each executor.

希望这能有所帮助