Spark Cassandra连接器找不到java.time.LocalDate
我试图使用带有Datastax Spark-Cassandra连接器的Spark查询Cassandra。火花代码是
val conf = new SparkConf(true)
.setMaster("local[4]")
.setAppName("cassandra_query")
.set("spark.cassandra.connection.host", "mycassandrahost")
val sc = new SparkContext(conf)
val rdd = sc.cassandraTable("mykeyspace", "mytable").limit(10)
rdd.foreach(println)
sc.stop()
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.0",
"org.apache.spark" %% "spark-sql" % "2.0.0",
"cc.mallet" % "mallet" % "2.0.7",
"com.amazonaws" % "aws-java-sdk" % "1.11.229",
"com.datastax.spark" % "spark-cassandra-connector_2.11" % "2.0.0"
)
Lost task 6.0 in stage 0.0 (TID 6) on executor localhost: java.io.IOException (Exception during preparation of SELECT "pcid", "content" FROM "mykeyspace"."mytable" WHERE token("pcid") > ? AND token("pcid") <= ? LIMIT 10 ALLOW FILTERING: class java.time.LocalDate in JavaMirror with org.apache.spark.util.MutableURLClassLoader@923288b of type class org.apache.spark.util.MutableURLClassLoader with classpath [file:/root/GenderPrediction-assembly-0.1.jar] and parent being sun.misc.Launcher$AppClassLoader@1e69dff6 of type class sun.misc.Launcher$AppClassLoader with classpath [file:/root/spark/conf/,file:/root/spark/jars/datanucleus-core-3.2.10.jar,...not found.
我发现了另一个帖子，看起来类似的火花工作卡珊德拉错误，但它是一个不同的类，无法找到，所以我不确定它是否有帮助。
共有1个答案
java.time.localdate是Java8的一部分，似乎您运行的是低于8的java版本。
Spark-Cassandra-Connector2.0需要Java8。Spark Cassandra版本兼容性
-
我正在尝试使用Kafka Connect Elasticsearch连接器，但没有成功。它正在崩溃，并出现以下错误： 我已经在kafka子文件夹中解压了插件的编译版本，并在connect-standalone.properties中有以下代码行: 我可以看到该文件夹中的各种连接器，但Kafka Connect不加载它们；但它确实加载了标准连接器，如下所示： 如何正确注册连接器？
-
我对flink/Java/Scala还比较陌生，所以这可能不是问题，但非常感谢您的帮助。我还没有找到一个将Flink Kafka连接器与Flink 1.13结合使用的示例（对我适用）。 我的项目在这里：https://github.com/sysarcher/flink-scala-tests 我想我无法使用我想试用的FlinkKafkaConsumer（链接）。 我正在使用IntelliJ Id
-
问题内容： 注意：我已经尝试过这里给出的其他解决方案，但是没有用 NodeJ的新手。我试图跟随AngularJS专业人士，并陷入设置NodeJs服务器。根据书，我安装了nodejs，然后使用npm install connect安装了connect软件包 然后将angularjs下载到nodejs文件夹旁边的文件夹中。然后编写server.js文件以连接到服务器。这是文件的内容： 当我使用以下命令
-
我试图在詹金斯安装Android设备连接器插件。 但我在我的Jenkins或那里找不到这个插件http://updates.jenkins-ci.org/download/plugins/. 我只找到了iOS设备连接器插件。 如何使用这个插件？
-
使用此Kafka Connect连接器： https://www.confluent.io/hub/confluentinc/kafka-connect-s3 我手动将其安装到我的kafka Connect Docker映像的插件中。我的目的是使用Kafka Connect将来自Kafka主题的Avro记录写入S3。 在运行时，使用Kafka Connect，我会得到以下错误： 在ConFluen
-
尝试连接到Kafka集群，并从主题向雪花写入数据。 我得到的错误是： 我用来运行的命令(不包括标准的zookeeper / kafka启动命令): 到目前为止我所做的： 更新的插件。路径在中 与 我在网上研究了类似的案例，但是虽然其中许多是收到相同错误消息的用户，但他们想要的连接器并没有像我一样列在可用连接器列表中。 我最初尝试将雪花罐直接放在 libs 文件夹中，然后再次作为整个包结构，但两者都