spark cassandra连接器和SBT的编译错误

Question

我在试着让DataStax spark cassandra连接器工作。我在IntelliJ中创建了一个新的SBT项目，并添加了一个类。下面给出了类和我的sbt文件。创建spark上下文似乎可以工作，但是，当我取消注释试图创建cassandraTable的行时，我得到了以下编译错误：

错误：Scalac：错误的符号引用。Cassandrarow.class中的签名引用了包org.apache.spark.sql中的术语catalyst,但该术语不可用。它可能在当前类路径中完全丢失，或者类路径上的版本可能与编译Cassandrarow.class时使用的版本不兼容。

name := "cassySpark1"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.1.0"

libraryDependencies += "com.datastax.spark" % "spark-cassandra-connector" % "1.1.0" withSources() withJavadoc()

libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector-java" % "1.1.0-alpha2" withSources() withJavadoc()

resolvers += "Akka Repository" at "http://repo.akka.io/releases/"

导入org.apache.spark。{SparkConf,SparkContext}

导入com.datastax.spark.connector._

对象HelloWorld{def main（args：array[String]):Unit={System.SetProperty（“spark.cassandra.query.retry.count”,“1”）

val conf = new SparkConf(true)
  .set("spark.cassandra.connection.host", "cassandra-hostname")
  .set("spark.cassandra.username", "cassandra")
  .set("spark.cassandra.password", "cassandra")

val sc = new SparkContext("local", "testingCassy", conf)

>//val foo=sc.cassandratable（“keyspace name”,“table name”）

val rdd = sc.parallelize(1 to 100)
val sum = rdd.reduce(_+_)

println(sum)   } }

Answer 1

您需要将spark-sql添加到依赖项列表

libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.1.0"