从EMR中的Spark默认类路径中删除JAR

Question

  spark-submit \
    ....
    --class ${MY_CLASS} "${SUPER_JAR_S3_PATH}"

...等

但是，默认情况下，Spark会加载jar文件：/usr/lib/Spark/jars/guice-3.0.jar，其中包含com.google.inject.internal.injectorImpl，这个类也在我的超级jar中的Guice-4.x jar中。当我的服务启动时，这将导致java.lang.IllegalAccesserRor。

我尝试在spark-submit中设置一些Spark conf，将super jar放在类路径中，希望在Spark加载guice-3.0.jar之前先加载它。看起来像：

--jars "${ASSEMBLY_JAR_S3_PATH}" \
 --driver-class-path "/etc/hadoop/conf:/etc/hive/conf:/usr/lib/hadoop-lzo/lib/*:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:${SUPER_JAR_S3_PATH}" \
 --conf spark.executor.extraClassPath="/etc/hadoop/conf:/etc/hive/conf:/usr/lib/hadoop-lzo/lib/*:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:${SUPER_JAR_S3_PATH}" \

但这会导致同样的错误。

是否有一种方法可以从默认spark类路径中删除GUICE-3.0.jar，以便我的代码可以使用GUICE-4.xJAR中打包的InjectorImpl？我还在客户端模式下运行Spark，所以我不能使用Spark.driver.userclasspathfirst或Spark.executor.userclasspathfirst

Answer 1

一种方法是指向guice旧版本jar所在的lib，然后排除它。

spark-submit的示例shell脚本：

export latestguicejar='your path to latest guice jar'

   #!/bin/sh
    # build all other dependent jars in OTHER_JARS

JARS=`find /usr/lib/spark/jars/ -name '*.jar'`
OTHER_JARS=""
   for eachjarinlib in $JARS ; do    
if [ "$eachjarinlib" != "guice-3.0.jar" ]; then
       OTHER_JARS=$eachjarinlib,$OTHER_JARS
fi
done
echo ---final list of jars are : $OTHER_JARS
echo $CLASSPATH

spark-submit --verbose --class <yourclass>
... OTHER OPTIONS
--jars $OTHER_JARS,$latestguicejar,APPLICATIONJARTOBEADDEDSEPERATELY.JAR

也见霍尔登斯回答。请检查您版本的spark有什么可用的。