为什么我们不在Spark-Cassandra-Connector中定义一个ReaderBuilder来从cassandra DB读取数据呢

Question

我看到了spark-cassandra-connector的github repo，我没有发现ReaderBuilder实现了它们，但实现了一个WriterBuilder，有人可以帮助我使用CassandraConnector引用从cassandra DB读取数据吗。

我想在同一个SparkContext中连接两个cassandra集群，我想从这两个集群中读取数据，所以我需要一个ReaderBuilder来读取我的第二个cassandra集群中的数据，我在这里使用java语言。

Github repo链接：https://Github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/java/com/datastax/spark/connector/japi/rddanddstreamcommonjavafunctions.java

CassandraConnector eventsConnector = CassandraConnector.apply(sc.getConf().set("spark.cassandra.connection.host", "192.168.36.234"));

Answer 1

我的第一个建议是不要在Java中使用RDDs。Java中的RDD比Scala中的困难得多，而且它也是旧的API。我建议改用DataFrames。它们在不同数据源之间提供了一个更干净的接口，以及自动优化和其他好处。

现在，如果不能使用DataFrames，您只需创建CassandraJavaRDD，然后使用“WithConnector”或“WithReadConf”来更改读取配置。

https://github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/java/com/datastax/spark/connector/japi/rdd/cassandrajavardd.java#L123-L129

val cluster2 = CassandraConnector eventsConnector = 
  CassandraConnector.apply(
    sc.getConf()
      .set("spark.cassandra.connection.host", "192.168.36.234"));

  javaFunctions(sc).cassandraTable(ks, "test_table").withConnector(cluster2).collect()
}

不需要构建器，因为RDD本身有一个流畅的API。由于编写是在调用结束后立即进行的，因此需要一个构建器。