在IntelliJ IDE中将Spark与Scala项目集成时出错

Question

我在IntelliJ IDE中创建了一个简单的SBT项目，在build.sbt中具有以下库依赖关系：

import _root_.sbt.Keys._

name := "untitled"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" ,
  "org.apache.spark" %% "spark-mllib"  % "1.5.1")

目标是导入Spark和Spark的MLLIB，然后创建一个Scala对象，如这里所述。

但是，导入时发生以下错误：

SBT project import
[warn] Multiple dependencies with the same organization/name but different versions. To avoid conflict, pick one version: [warn] *

org.scala-lang： scala-编译器：（2.11.0,2.11.7）[警告]*org.apache.commons： comons-lang3：（3.3.2,3.0）[警告]*jline： jline：（0.9.94,2.12.1）[警告]*org.scala-lang.modules： scala-parser-combinators_2.11：（1.0.1,1.0.4）[警告]*org.scala-lang.modules： cala-xml_2.11：（1.0.1,1.0.4）[警告]*org.slf4j： slf4j-api：（1.7.10,1.7.2）[警告][失败]net.sourceforge.f2j#arpack_combined_all； 0.1！arpack_combined_all.jar（src）：（0ms）[警告] ==== 本地：尝试过[警告]C：\用户\Cezar.ivy2\本地\net.sourceforge.f2j\arpack_combined_all\0.1\srcs\arpack_combined_all-sources.jar[警告] ==== 公共：尝试过[警告]https://repo1.maven.org/maven2/net/sourceforge/f2j/arpack_combined_all/0.1/arpack_combined_all-0.1-sources.jar[警告][失败]javax.xml.bind#jsr173_api；1.0！jsr173_api.jar（doc）：（0ms）[警告] ==== 本地：尝试[警告]C：\用户\Cezar.ivy2\本地\javax.xml.bind\jsr173_api\1.0\docs\jsr173_api-javadoc.jar[警告] ==== 公共：尝试[警告]https://repo1.maven.org/maven2/javax/xml/bind/jsr173_api/1.0/jsr173_api-1.0-javadoc.jar[警告][失败]javax.xml.bind#jsr173_api； 1.0！jsr173_api.jar（src）：（0ms）[警告] ==== 本地：尝试过[警告]C：\用户\Cezar.ivy2\本地\javax. xml. bind\jsr173_api\1.0\srcs\jsr173_api-Source. jar[警告] ==== 公共：尝试过[警告]https：//repo1. maven. org/maven2/javax/xml/bind/jsr173_api/1.0/jsr173_api-1.0-sources.jar[警告]:::::::::::::::::::::::::::::::::::::::::::::: [警告]：：失败下载：：[警告]：：^有关详细信息，请参阅解析消息^：：[警告]：：:::::::::::::::::::::::::::::::::::::::::::: [警告]：： net. ourceforge. f2j#arpack_combined_all； 0.1！arpack_combined_all. jar（src）[警告]：： javax. xml. bind#jsr173_api； 1.0！jsr173_api. jar（doc）[警告]：： javax. xml. bind#jsr173_api； 1.0！jsr173_api. jar（src）[警告]::::::::::::::::::::::::::::::::::::::::::::::

Answer 1

Spark不适用于Scala 2.11。它使用Scala 2.10，因此您需要使用兼容的Scala版本（请参阅http://spark.apache.org/docs/latest/).

或者，正如@eliasah在评论中提到的那样，您可以自己构建Spark。有关如何构建Spark的说明，请访问http://spark.apache.org/docs/latest/building-spark.html