NoClassDefFoundError：Spark会话-即使构建正在工作

Question

我将https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/RandomForestClassifierExample.scala复制到一个新项目中并设置了一个build.sbt

name := "newproject"
version := "1.0"
scalaVersion := "2.11.8"

javacOptions ++= Seq("-source", "1.8", "-target", "1.8")
scalacOptions += "-deprecation"

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.11"  % "2.0.0" % "provided",
  "org.apache.spark" % "spark-sql_2.11"   % "2.0.0" % "provided",
  "org.apache.spark" % "spark-mllib_2.11" % "2.0.0" % "provided",
  "org.jpmml" % "jpmml-sparkml" % "1.1.1",
  "org.apache.maven.plugins" % "maven-shade-plugin" % "2.4.3",
  "org.scalatest" %% "scalatest" % "3.0.0"
)

我能够从IntelliJ 2016.2.5构建它，但是当我得到错误时我

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
    at org.apache.spark.examples.ml.RandomForestClassifierExample$.main(RandomForestClassifierExample.scala:32)
    at org.apache.spark.examples.ml.RandomForestClassifierExample.main(RandomForestClassifierExample.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

我甚至可以点击SparkSession并获得源代码。有什么问题？

Answer 1

我得到了同样的问题，它得到了修复后设置SPARK_HOME变量，然后提交火花作业使用火花提交。

Answer 2

在我的例子中，我使用的是本地Cloudera CDH 5.9.0集群，默认情况下安装了Spark 1.6.1，Spark 2.0.0作为包安装。因此，＜code＞spark submit＜/code＞使用的是spark 1.6.1，而＜code＞spark2 submit使用的是spark 2.0.0。由于SparkSession在1.6.1中不存在，因此引发了错误。使用正确的spark2 submit命令解决了问题。

Answer 3

当您说＜code＞为依赖项提供了＜/code＞时，构建将根据该依赖项进行编译，但它不会在运行时添加到类路径中（假定它已经存在）。

这是为spacy-提交构建Spark作业时的正确设置（因为它们将在提供依赖项的Spark容器内运行，第二次包含它会带来麻烦）。

但是，在本地运行时，需要存在该依赖项。因此，要么将生成更改为不提供此内容（但随后需要在生成时进行调整以提交作业），要么在 IDE 中将运行时类路径配置为已具有该 jar 文件。