火花下推过滤器如何与cassandra表非分区键一起工作？

Question

我在cassandra中有一个表，其中日期不是分区键的一部分，但它是聚类键的一部分。在读取火花中的表时，我正在应用日期过滤器，它正在向下推送。我想了解下推是如何工作的，因为通过cql，我们不能直接查询集群键。数据是否在某处被过滤？

Java实施：

transactions.filter(transactions.col("timestamp").gt(timestamp))  //column timestamp is of type timestamp

物理平面图显示为

==物理计划==*项目[customer_user_id#67 AS customerUserId#111，演员阵容（时间戳#66作为日期）AS日期#112，城市#70]-*过滤器（isnotnull（时间戳#66）

对于时间戳部分，这也很好，但是如果列是< code>date类型，那么即使date是分区键的一部分，也不会推送过滤器。我不得不把它写成< code>transactions.filter("date

Answer 1

当您对分区键没有条件时，Spark Cassandra连接器使用令牌范围并行执行有效扫描。因此，如果您对某个集群列＜code＞clasCol＜/code＞有条件（与示例中更大），连接器将生成以下查询（伪代码，而非真实代码-如果启用调试日志记录，您可以找到真实的CQL查询）：

SELECT col1, col2, ... FROM ks.table WHERE
  token(pk) > :startRange AND token(pk) <= :endRange
  AND clasCol > :your-value ALLOW FILTERING;

然后，Cassandra将对同一节点上的多个分区执行有效的范围扫描。如果需要更多详细信息，可以在此处查找代码。

关于< code > date ——这需要更多地查看代码，但可能只是缺少了一些类型转换，或者类似的东西——您可以检查这两种情况下都生成了什么查询。