Spark cassandra connector直接联接在查询中无效

Question

我在cassandra中有一个表，其中A（String）和B（int）是partiton键，我正在用spark sql编写sql查询

select ("SELECT * from table where A IN ("221",...) and B IN(32,323...));

在解释计划中，它似乎是在执行批扫描，而不是在分区键上直接联接

== Physical Plan ==
Project [A,B ... other columns]
+- BatchScan[A,B ... other columns] Cassandra Scan: dev.table

• Cassandra筛选器:[[“A”在（？,？,？,？）,D]，[“B”在（？,？,？,？,？,？,？,？,？）,D]]
• 请求列:[A、B...]

另外，在文档中https://github.com/datastax/spark-cassandra-connector/blob/master/doc/reference.md spark.cassandra.sql.inclauseToJoinConversionThreshold设置为25.

我很好奇，在主键上的in子句是否会比直接联接更有效

Answer 1

cqlsh> CREATE TABLE IF NOT EXISTS test.tab4 (k1 varchar, k2 int, PRIMARY KEY (k1, k2));

bin/spark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.0-beta --conf spark.cassandra.sql.inClauseToJoinConversionThreshold=10

scala> spark.conf.set(s"spark.sql.catalog.mycatalog", "com.datastax.spark.connector.datasource.CassandraCatalog")
scala> spark.sql("""SELECT * FROM mycatalog.test.tab4 where k1 in ("1","2","3","4") and k2 in (3,4,5,6,7)""").explain
== Physical Plan ==
*(1) Project [k1#43, k2#44]
+- BatchScan[k1#43, k2#44] class com.datastax.spark.connector.datasource.CassandraInJoin

如果这没有帮助，我需要查看您的模式、您发出的确切查询和SCC/Spark版本。