Spark和cassandra，聚类键的范围查询

Question

创建TABLE TABLE（int键、time时间戳、度量浮点、主键(key、time))；

我需要创建一个火花作业，这将读取数据从上一个表，在指定的开始和结束时间戳做一些处理，并刷新结果回Cassandra。

因此，我的spark-cassandra-connector必须对集群cassandra表列进行范围查询。

sc.cassandraTable(keyspace,table).
as(caseClassObject).
filter(a => a.time.before(startTime) && a.time.after(endTime).....

sc.cassandraTable(keyspace, table).
where(s"time>$startTime and time<$endTime)......

范围查询的选择性约为1%，不可能在查询中包含分区键。

这两种解决方案哪一种更好？

Answer 1

sc.cassandraTable(keyspace, table).where(s"time>$startTime and time<$endTime)

会快得多。在第一个命令中，您基本上是在执行一个百分比（如果只提取5%的数据，则为总工作量的5%）的全部抓取，以获得相同的数据。

在第一种情况下，你是

1. 从Cassandra读取所有数据。
2. 序列化每个对象，然后将其移动到Spark。
3. 最后过滤所有内容。

null

sc.cassandraTable[CaseClassObject](keyspace, table)