Spark KryoException:找不到类：CassandraSQLRow

Question

我使用卡珊德拉2.1.5（dsc），火花1.2.1与火花卡珊德拉连接器1.2.1。

运行Spark作业（scala脚本）时，出现以下错误：

16/03/08 10:22:03INFO DAGScheduler：作业0失败：减少在JsonRDD. scala： 57，采取了15.051150的异常线程"main"org.apache.spark.SparkExc0019：作业中止由于阶段故障：阶段1.0中的任务1失败1次，最近的失败：丢失的任务阶段1.0中的1.0（TID 4，localhost）：com.esotericsoftware.kryo.Kryo异常：无法找到类：org.apache.spark.sql.cassandra.CassandraS QLRow

我尝试使用以下方法执行此处描述的操作：

/home/ubuntu/spark-1.2.1/bin/spark-submit --driver-class-path /home/ubuntu/.ivy2/cache/com.datastax.spark/spark-cassandra-connector_2.10/jars/spark-cassandra-connector_2.10-1.2.1.jar --conf spark.executor.extraClassPath=/home/ubuntu/.ivy2/cache/com.datastax.spark/spark-cassandra-connector_2.10/jars/spark-cassandra-connector_2.10-1.2.1.jar --class "$class" "$jar"

但只会得到以下错误：

线程“main”java中出现异常。lang.NoClassDefFoundError:com/datastax/driver/core/consistentylevel位于com。数据税。火花连接器。作家WriteConf$。（WriteConf.scala:76）在com。数据税。火花连接器。作家WriteConf$。（WriteConf.scala）在com。数据税。火花连接器。util。ConfigCheck$。（ConfigCheck.scala:23）在com上。数据税。火花连接器。util。ConfigCheck$。（ConfigCheck.scala）在com上。数据税。火花连接器。cql。CassandraConnectorConf$。在com上应用（CassandraConnectorConf.scala:81）。数据税。火花连接器。cql。CassandraConnector$。在com上应用（CassandraConnector.scala:204）。数据税。火花连接器。RDD函数。在co.crowdx上加入cassandratable$default$5（RDDFunctions.scala:127）。聚合。SignalIO$。位于co.crowdx的main（SignalIO.scala:92）。聚合。信号。太阳上的主（信号量）。反映NativeMethodAccessorImpl。在sun上调用0（本机方法）。反映NativeMethodAccessorImpl。在sun上调用（NativeMethodAccessorImpl.java:57）。反映DelegatingMethodAccessorImpl。在java上调用（DelegatingMethodAccessorImpl.java:43）。朗。反思。方法在org调用（Method.java:606）。阿帕奇。火花部署SparkSubmit$。在org上发布（SparkSubmit.scala:358）。阿帕奇。火花部署SparkSubmit$。main（SparkSubmit.scala:75）位于org。阿帕奇。火花部署SparkSubmit。main（SparkSubmit.scala）

引起原因：java.lang.ClassNotFound异常：com.datastax.driver.core.一致性级别

可能是什么问题？（我现在不想升级spark或cassandra）

编辑：

我试图运行火花外壳，以更简单的方式看到问题：

spark-1.2.1/bin/spark-shell --jars /home/ubuntu/.ivy2/cache/com.datastax.spark/spark-cassandra connector_2.10/jars/spark-cassandra-connector_2.10-1.2.1.jar --conf spark.cassandra.connection.host=11.11.11.11

并尝试运行简单的命令：

> scala> import org.apache.spark.sql.cassandra.CassandraSQLContext
> import org.apache.spark.sql.cassandra.CassandraSQLContext
> 
> scala> import org.apache.spark.sql.SchemaRDD import
> org.apache.spark.sql.SchemaRDD
> 
> scala> val cc = new CassandraSQLContext(sc) cc:
> org.apache.spark.sql.cassandra.CassandraSQLContext =
> org.apache.spark.sql.cassandra.CassandraSQLContext@1c41c05e
> 
> scala> val rdd = cc.sql("select * from listener.scans_daily_imei_partitioned as a, listener.scans_daily_imei_partitioned as b where a.id=b.id")

我得到了以下错误：

rdd:org。阿帕奇。火花sql。SchemaRDD=SchemaRDD[0]在SchemaRDD的RDD处。scala:108==查询计划===物理计划==com.google.常见的util。同时发生的ExecutionError:java。lang.NoClassDefFoundError:com/datastax/driver/core/consistentylevel

Answer 1

我解决了自编译的火花-卡桑德拉连接器的问题：

wget https://github.com/datastax/spark-cassandra-connector/archive/v1.2.1.zip
unzip v1.2.1.zip
cd spark-cassandra-connector-1.2.1
sbt assembly
cp /home/ubuntu/spark-cassandra-connector-1.2.1/spark-cassandra-connector-java/target/scala-2.10/spark-cassandra-connector-java-assembly-1.2.1.jar spark-cassandra-connector-java-assembly-1.2.1-FAT.jar

并将火花用作：

/home/ubuntu/spark-1.2.1/bin/spark-submit --driver-class-path /home/ubuntu/spark-cassandra-connector-java-assembly-1.2.1-FAT.jar --conf spark.executor.extraClassPath=/home/ubuntu/spark-cassandra-connector-java-assembly-1.2.1-FAT.jar --class "$class" "$jar"

它工作得很好。