火花广播卡桑德拉连接器
我使用的是datastax提供的spark-cassandra-connector 1.1.0。我注意到了interining问题，我不知道为什么会发生这样的事情：当我广播cassandra connector并试图在执行程序上使用它时，我重复了异常，这表明我的配置无效，无法在0.0.0连接到cassandra。
示例StackTrace：
java.io.IOException: Failed to open native connection to Cassandra at {0.0.0.0}:9042
at com.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$connector$cql$CassandraConnector$$createSession(CassandraConnector.scala:174)
at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$2.apply(CassandraConnector.scala:160)
at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$2.apply(CassandraConnector.scala:160)
at com.datastax.spark.connector.cql.RefCountedCache.createNewValueAndKeys(RefCountedCache.scala:36)
at com.datastax.spark.connector.cql.RefCountedCache.acquire(RefCountedCache.scala:61)
at com.datastax.spark.connector.cql.CassandraConnector.openSession(CassandraConnector.scala:71)
at com.datastax.spark.connector.cql.CassandraConnector.withSessionDo(CassandraConnector.scala:97)
...
val dbConf = ssc.sparkContext.getConf
val connector = CassandraConnector(dbConf)
println(connector.hosts) //Set(10.20.1.5)
val broadcastedConnector = ssc.sparkContext.broadcast(connector)
println(broadcastedConnector.value.hosts) //Set(10.20.1.5)
mapPartition{
...
println(broadcastedConnector.hosts) // Set(0.0.0.)
...
}
共有1个答案
没有理由广播卡桑德拉连接器。在并行闭包中使用它只会序列化配置并在执行器上创建新连接，或者使用现有的执行器连接（如果存在的话）。
-
全能的开发者们。我在Spark中运行一些基本的分析，在这里我查询多节点Cassandra。我正在运行的代码以及我正在处理的一些非链接代码是： Spark的版本是1.6.0，Cassandra v3。0.10，连接器也是1.6.0。键空间有，表有5列，实际上只有一行。如您所见，有两个节点（OracleVM中制作的虚拟Macine）。 我的问题是，当我测量从spark到cassandra的查询时间时，
-
我有这个代码: 我得到以下异常: 所有主机尝试查询失败（已尝试：/127.0.0.1:9042（com.datastax.driver.core.TransportException：[/127.0.0.1:9042]无法连接）），堆栈跟踪：com.datastax.driver.core.exceptions.NoHostAvailableException：所有主机尝试查询失败（已尝试：/12
-
Maven中央存储库(Spark-Cassandra-Connector-Java2.11) 那么，在本地运行Spark和Cassandra之后，如何创建keyspace、表和插入行呢？
-
刚才，我们使用datastax spark连接器计算了一些统计数据。重复的查询在每次执行时返回不同的结果。 这可能是卡桑德拉、火花或连接器的问题吗？在每一种情况下，是否存在一些配置方法来防止这种情况？
-
我正在用SparkMaster api 7077执行JettyRun和ClusterMode。我将cassandra驱动程序和spark-cassandra连接器的jar传递给spark conf（setjar） 有些时候，如果我重新启动，它是有效的，但有几次，我不得不尝试和尝试，从来没有工作。 我尝试了一些答案，比如将Spark番石榴罐子重命名为19版本，但总是遇到同样的问题。 怎么回事？
-
在运行< code>Cassandra命令，然后尝试在另一个命令提示符窗口中运行< code>cqlsh后，我收到了此错误。你能让我知道如何解决这个问题吗？ 连接错误：（'无法连接到任何服务器'，{'127.0.0.1'：错误（10061，"尝试连接到[（'127.0.0.1'，9042）]。最后一个错误：无法进行连接，因为目标机器主动拒绝它"）}）