noClassDefoundError：scala代码的spark-sbumit中的/files/file更好

Question

当我将程序导出到一个jar文件中并执行它时，我会得到一个java.lang.noClassDefoundError：better/files/file error。

下面是我使用的代码。

预先感谢任何协助

SBT

name := "testFunctions"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "com.github.pathikrit" %% "better-files" % "2.17.1"
libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.11" % "2.1.0",
  "org.apache.spark" % "spark-sql_2.11" % "2.1.0",
  "com.github.pathikrit" %% "better-files" % "2.17.1"
)

initialize := {
  val _ = initialize.value
  if (sys.props("java.specification.version") != "1.8")
    sys.error("Java 8 is required for this project.")
}

/**
  * Created by cloudera on 7/23/17.
  */

import better.files.File._
import org.apache.spark.sql.SparkSession


object funcJM {


  val forDelete = (root/"/home/cloudera/Documents/fabo")
    .createIfNotExists()

  if (forDelete.exists)
    forDelete.delete()


  def main(args:Array[String]) : Unit = {

    val spark = SparkSession.builder
      .master("local")
      .appName("Get ForEx Data")
      .getOrCreate()



  }

}

spark-submit --class funcJM --master local[*] /home/cloudera/testFunctions/target/scala-2.11/testfunctions_2.11-1.0.jar --driver-class-path /home/cloudera/testFunctions/target/scala-2.11/testfunctions_2.11-1.0.jar

代码所在的树结构如下所示--因此名为func的类位于scala目录中

\main
    \java
    \resources
    \scala
        -funcJM(class)
    \scala-2.11

Answer 1

你可以做三件事：

>

使用类似sbt程序集的东西来编译fat JAR。包含better.files.file的jar将打包在TestFunctions_2.11-1.0.jar中。

将包含更好包的jar文件复制到spark jars目录:../spark-2.1.0-bin-hadoop2.7/jars

使用--driver-class-path better-files-akka2.10.jar在spark-submit调用中指定包含better包的jar文件作为参数