如何在IntelliJ idea中使用SBT构建一个Uber JAR（胖JAR）？

Question

我正在使用SBT（在IntelliJ IDEA中）构建一个简单的Scala项目。

我想知道什么是最简单的方法来建立一个Uber JAR文件（又名胖JAR，超级JAR）。

我当前使用的是SBT，但当我将JAR文件提交到Apache Spark时，我得到以下错误：

线程“main”java.lang.SecurityException中的异常：清单主属性的签名文件摘要无效

或在编译期间出现此错误：

java.lang.RuntimeException：重复数据删除：在以下文件中发现不同的文件内容:
path\dependency.jar:meta-inf/dependencies
path\dependency.jar:meta-inf/manifest.mf

这看起来是因为我的一些依赖包括签名文件(META-INF)，它需要在最终的Uber JAR文件中删除。

我试着这样使用sbt-assembly插件：

/Project/Assembly.sbt

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

/project/plugins.sbt

logLevel := Level.Warn

/build.sbt

lazy val commonSettings = Seq(
  name := "Spark-Test"
  version := "1.0"
  scalaVersion := "2.11.4"
)

lazy val app = (project in file("app")).
  settings(commonSettings: _*).
  settings(
    libraryDependencies ++= Seq(
      "org.apache.spark" %% "spark-core" % "1.2.0",
      "org.apache.spark" %% "spark-streaming" % "1.2.0",
      "org.apache.spark" % "spark-streaming-twitter_2.10" % "1.2.0"
    )
  )

当我点击“构建工件...”在IntelliJ IDEA中，我得到一个JAR文件。但我却犯了同样的错误...

多谢了。

Answer 1

最后，我完全跳过使用IntelliJ IDEA来避免在我的全局理解中产生噪音：）

我开始阅读正式的SBT教程。

我使用以下文件结构创建了我的项目：

my-project/project/assembly.sbt
my-project/src/main/scala/myPackage/MyMainObject.scala
my-project/build.sbt

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

我的最小build.sbt如下所示：

lazy val root = (project in file(".")).
  settings(
    name := "my-project",
    version := "1.0",
    scalaVersion := "2.11.4",
    mainClass in Compile := Some("myPackage.MyMainObject")        
  )

val sparkVersion = "1.2.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-streaming-twitter" % sparkVersion
)

// META-INF discarding
mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) =>
   {
    case PathList("META-INF", xs @ _*) => MergeStrategy.discard
    case x => MergeStrategy.first
   }
}

注意:%“provided”表示不将依赖项包含在最终的fat JAR中（那些库已经包含在我的workers中）

注：META-INF丢弃受到这个答案的启发。

现在，我可以通过在我的/my-project根文件夹中运行以下命令，使用SBT（如何安装它）构建我的fat JAR：

sbt assembly

我的fat JAR现在位于新的generated/Target文件夹中：

/my-project/target/scala-2.11/my-project-assembly-1.0.jar

希望能帮到别人。