为什么Spark Cassandra Connector会因NoHostAvailableException而失败？

Question

我在让Spark Cassandra连接器在Scala中工作时遇到问题。

我正在使用这些版本：

• 斯卡拉 2.10.4
• 火花芯 1.0.2
• 卡桑德拉-节俭 2.1.0 （我安装的卡桑德拉是 v2.1.0）
• cassandra-clientutil 2.1.0
• 卡桑德拉驱动器核心 2.0.4 （推荐用于连接器？
• 火花-卡桑德拉-连接器 1.0.0

我可以连接并与卡桑德拉（没有火花）交谈，我可以与火花（没有卡桑德拉）交谈，但连接器给了我：

com.datastax.driver.core.exceptions。NoHostAvailableException:尝试查询的所有主机都失败（已尝试：/10.0.194:9042（com.datastax.driver.core.TransportException:[/10.0.0.194:9042]无法连接）

我错过了什么？卡桑德拉是默认安装（根据卡桑德拉.yaml，cql 的端口 9042）。我正在尝试本地连接（“本地”）。

我的代码：

val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
val sc = new SparkContext("local","test",conf)
val rdd = sc.cassandraTable("myks","users")
val rr = rdd.first
println(s"Result: $rr")

Answer 1

在此上下文中，Local是指定Spark主机（告诉它以本地模式运行），而不是Cassandra连接主机。

要设置Cassandra连接主机，您必须在Spark配置中设置不同的属性

import org.apache.spark._

val conf = new SparkConf(true)
        .set("spark.cassandra.connection.host", "IP Cassandra Is Listening On")
        .set("spark.cassandra.username", "cassandra") //Optional            
        .set("spark.cassandra.password", "cassandra") //Optional

val sc = new SparkContext("spark://Spark Master IP:7077", "test", conf)

https://github . com/datastax/spark-Cassandra-connector/blob/master/doc/1 _ connecting . MD