Datastax cassandra连接器，用于火花大声和不可理解地失效
我的spark-streaming应用程序有以下几行：
我试图将一系列对象写入cassandra中的表（以及文本文件）。我有以下代码：
val rmqReceiver = new RMQReceiver(queueIp, "vehicle-data")
val statusMessageStream = myStreamingContext.receiverStream[String](rmqReceiver)
val vsStream = customReceiverStream.map(jsonToVehicleStatus)
customReceiverStream.foreachRDD((vs: RDD[String])=> vs.saveAsTextFile("/var/log") )
vsStream.foreachRDD((vs: RDD[Vehicle_Status])=> vs.saveToCassandra("vehicle_data","vehicles",AllColumns) )
vsStream.foreachRDD((vs: RDD[Vehicle_Status])=> vs.saveToCassandra("vehicle_data","vehicle_locations",AllColumns) )
此外，此异常：
错误QueryExecutor：执行失败:com.datastax.spark.connector.writer.richboundStatement@4892f8c2 com.datastax.driver.core.exceptions.noHostAvailableException:所有主机尝试查询失败（尝试：/52.{MYIP}:9042(com.datastax.driver.core.transportException:[/52.{MYIP}:9042]连接已关闭））在com.datastax.driver.core.requestHandler.sendrequest til.concurrent.threadpoolexecutor.runworker(threadpoolexecutor.java:1142)在java.util.concurrent.threadpoolexecutor$worker.run(threadpoolexecutor.java:617)在java.lang.thread.run(thread.java:745)
我已经将其连接到一个RpoVisioned良好的集群中，当我试图超过6次写入/秒（每个表3次）时，我会遇到这些错误
共有1个答案
如果您在本地计算机上使用此方法，请检查密钥空间的复制因子，将其设为1，然后再试一次。这帮我解决了
-
使用databricks spark，可以使用spark雪花连接器（spark-snowflake_2.11-2.3.0.jar，snowflake-jdbc-2.8.1.jar）将数据写入snowflake，而不使用jdbc连接。但如果没有databricks，当我尝试在安装spark的本地机器中应用相同的代码时，我无法使用spark snowflake连接器将代码写入snowflake。我面临
-
由于，我检查了一个spark作业的输出拼花文件，该作业总是会发出声音。我在Cloudera 5.13.1上使用了 我注意到拼花地板排的大小是不均匀的。第一排和最后一排的人很多。剩下的真的很小。。。 拼花地板工具的缩短输出，： 这是已知的臭虫吗？如何在Spark中设置拼花地板块大小（行组大小）？ 编辑： Spark应用程序的作用是：它读取一个大的AVRO文件，然后通过两个分区键（使用
-
我使用Spark2和neo4j3（安装在一个节点上），并使用这个spark/Neo4j https://github.com/neo4j-contrib/neo4j-spark-connector 我可以使用我的数据库。 多谢帮忙。
-
我正在研究建立一个JDBC Spark连接，以便从r/Python使用。我知道和都是可用的，但它们似乎更适合交互式分析，特别是因为它们为用户保留了集群资源。我在考虑一些更类似于Tableau ODBC Spark connection的东西--一些更轻量级的东西（据我所知），用于支持简单的随机访问。虽然这似乎是可能的，而且有一些文档，但（对我来说）JDBC驱动程序的需求是什么并不清楚。 既然Hiv
-
刚才，我们使用datastax spark连接器计算了一些统计数据。重复的查询在每次执行时返回不同的结果。 这可能是卡桑德拉、火花或连接器的问题吗？在每一种情况下，是否存在一些配置方法来防止这种情况？
-
我有一些Spark经验，但刚开始使用Cassandra。我正在尝试进行非常简单的阅读，但性能非常差——不知道为什么。这是我正在使用的代码： 所有3个参数都是表上键的一部分： 主键（group\u id，epoch，group\u name，auto\u generated\u uuid\u field），聚类顺序为（epoch ASC，group\u name ASC，auto\u generat