ApacheSpark-java。lang.NoClassDefFoundError

Question

我有一个基于maven的scala/java混合应用程序，可以提交spar作业。我的应用程序jar“myapp.jar”在lib文件夹中有一些嵌套的jar。其中之一是“common.jar”。我在清单文件中定义了类路径属性，比如类路径：lib/common。jar。Spark executor抛出java。lang.NoClassDefFoundError:com/myapp/common/myclass在客户端模式下提交应用程序时出错。类（com/myapp/common/myclass.Class）和jar（common.jar）在那里，并嵌套在我的主myapp中。罐子Fat jar是使用spring boot maven插件创建的，该插件将其他jar嵌套在父jar的lib文件夹中。我不喜欢创建带阴影的平罐，因为那样会产生其他问题。spark executor jvm可以在这里加载嵌套JAR吗？

EditSpark（jvm类加载器）可以在myapp中找到所有平坦的类。罐子本身。i、 e.com/myapp/abc。类，com/myapp/xyz。班级等等。

EDIT2 spark executor classloader也可以从嵌套jar中找到一些类，但它会在同一个嵌套jar中抛出NoClassDefFoundError和其他一些类！以下是错误：

Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, host4.local): java.lang.NoClassDefFoundError: com/myapp/common/myclass
    at com.myapp.UserProfileRDD$.parse(UserProfileRDDInit.scala:111)
    at com.myapp.UserProfileRDDInit$$anonfun$generateUserProfileRDD$1.apply(UserProfileRDDInit.scala:87)
    at com.myapp.UserProfileRDDInit$$anonfun$generateUserProfileRDD$1.applyUserProfileRDDInit.scala:87)
    at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
    at org.apache.spark.storage.MemoryStore.unrollSafely(MemoryStore.scala:249)
    at org.apache.spark.CacheManager.putInBlockManager(CacheManager.scala:172)
    at org.apache.spark.CacheManager.getOrCompute(CacheManager.scala:79)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:242)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:61)
    at org.apache.spark.scheduler.Task.run(Task.scala:64)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:203)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:744)
Caused by: java.lang.ClassNotFoundException: 
com.myapp.common.myclass
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 14 more

我提交myapp.jar与斯派克Conf.setJar（字符串[]{"myapp.jar"}），并尝试将其设置在spark.yarn.executor.extraClassPath

编辑3作为解决方法，我提取了myapp。jar和setsparkConf。setJar（String[]{“myapp.jar”，“lib/common.jar”}）手动执行，错误消失了，但显然我必须对所有嵌套的jar执行此操作，这是不可取的。

Answer 1

在启动Spark应用程序时，可以使用--jars选项给出以逗号分隔的jar列表。

像这样的东西

spark-submit --jars lib/abc.jar,lib/xyz.jar --class <CLASSNAME> myapp.jar