我们如何在Apache Spark中使用多个Cassandra设置？

Question

我在两台不同的机器上有两种不同的卡桑德拉设置。我试图从一台机器上读取数据，使用Spark进行处理，然后将结果写入第二个设置。我使用的是spark-cassandra-connector-java_2.10。当我尝试使用Java函数时。writeBuilder，它允许我指定键空间和表名，但Cassandra主机是从Spark上下文获取的。除了Spark上下文中提到的方法外，还有其他方法可以将数据写入Cassandra设置吗？如何覆盖此默认设置？

Answer 1

使用以下代码：

SparkConf confForCassandra = new SparkConf().setAppName("ConnectToCassandra")
                .setMaster("local[*]")
                .set("spark.cassandra.connection.host", "<cassandraHost>");

CassandraConnector connector = CassandraConnector.apply(confForCassandra);

javaFunctions(rdd).writerBuilder("keyspace", "table", mapToRow(Table.class)).withConnector(connector).saveToCassandra();