spark-submit: - jars不工作

Question

我正在为Spark Streaming作业构建指标系统，在系统中，指标收集在每个执行程序中，因此需要在每个执行程序中初始化指标源（用于收集指标的类）。

度量源被打包在一个jar中，当提交作业时，jar使用参数'--jars'从本地发送到每个执行器，但是，执行器在jar到达之前开始初始化度量源类，因此，它会抛出类未找到异常。

似乎如果执行者可以等到所有资源都准备好，问题就会得到解决，但我真的不知道该怎么做。

有人面临同样的问题吗？

PS：我尝试使用HDFS（将jar复制到HDFS，然后提交作业并让执行器从HDFS中的路径加载类），但它失败了。我查了一下源代码，看来类装入器只能解析本地路径。

这是日志，您可以看到jar在2016-01-15 18:08:07添加到classpath中，但初始化在2016-01-15 18:07:26开始

INFO 2016-01-15 18：08：07 组织 apache.spark.executor.executor.执行程序： 添加文件：/var/lib/spark/worker/worker-0/app-20160115180722-0041/0/./datainsights-metrics-source-assembly-1.0.jar到类加载器

错误2016-01-15 18:07:26 logging . Scala:96-org . Apache . spark . metrics . metrics system:无法实例化源类org . Apache . spark . metrics . perfcountersource

这是我使用的命令：

spark-submit --verbose \
 --jars /tmp/datainsights-metrics-source-assembly-1.0.jar \ 
 --conf "spark.metrics.conf=metrics.properties" \
 --class org.microsoft.ofe.datainsights.StartServiceSignalPipeline \
 ./target/datainsights-1.0-jar-with-dependencies.jar

Answer 1

我可以想到几个选项：-

>

创建一个胖罐文件，其中包括主类和依赖项。

如果依赖项仅由执行程序使用，而不是由驱动程序使用，则可以使用 SparkConf.setJars（....） 显式添加 jar 文件，或者如果它也由驱动程序使用，则还可以使用命令行选项 --驱动程序类路径来配置驱动程序类路径。

尝试使用以下参数在 Spark-default.conf 中对其进行配置： -

spark.executor.extraClassPath=<classapth>
spark.executor.extraClassPath=<classapth>

无论你做什么，我都会建议修复网络延迟，否则会伤害Spark jobs的性能。