Spark Cassandra Connector in Action：如果Cassandra托管在不同的服务器上，它是如何工作的

Question

场景：Cassandra托管在服务器a.b.c.d上，spark运行在服务器上，比如w.x.y.z。

假设我想将数据从cassandra中的一个表（比如table）进行转换，并使用Spark将其重写到cassandra中的另一个表（比如tableNew），我编写的代码如下所示

val conf = new SparkConf(true)
        .set("spark.cassandra.connection.host", "a.b.c.d")
        .set("spark.cassandra.auth.username", "<UserName>")            
        .set("spark.cassandra.auth.password", "<Password>")

val spark = SparkSession.builder().master("yarn")
    .config(conf)
    .getOrCreate()

val dfFromCassandra = spark.read.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "<table>", "keyspace" -> "<Keyspace>")).load()

val filteredDF = dfFromCassandra.filter(filterCriteria).write.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "<tableNew>", "keyspace" -> "<Keyspace>")).save

这里filterCriteria表示我所做的转换/过滤。我不确定Spark cassandra连接器在内部如何工作。这是我的困惑：

1：spark是否将数据从Cassandra源表加载到html" target="_blank">内存中，然后过滤并重新加载到目标表或

2:Spark cassandra connector是否将筛选条件转换为Where子句，并仅加载相关数据以形成RDD，并将其写入cassandra或

3：整个操作是否作为cql操作进行，其中查询转换为类似sqllike的查询，并在cassandra本身中执行？（我几乎可以肯定，情况并非如此）

Answer 1

要么是1。或者2。取决于您的过滤器标准。当然，Spark本身不能进行任何CQL过滤，但自定义数据源可以使用谓词下推实现它。如果是Cassandra驱动程序，它在这里实现，答案取决于它是否包含所使用的过滤器标准。