使用Java Cassandra Spark SQL连接器按日期查询时遇到困难

Question

SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("SparkTest")
    .set("spark.executor.memory", "1g")
    .set("spark.cassandra.connection.host", "localhost")
    .set("spark.cassandra.connection.native.port", "9042")
    .set("spark.cassandra.connection.rpc.port", "9160");
JavaSparkContext context = new JavaSparkContext(sparkConf);
JavaCassandraSQLContext sqlContext = new JavaCassandraSQLContext(context);
sqlContext.sqlContext().setKeyspace("mykeyspace");

String sql = "SELECT * FROM trip WHERE utc_startdate >= '2015-01-01' AND utc_startdate < '2015-12-31' AND deployment_id = 1 AND device_id = 1";
JavaSchemaRDD rdd = sqlContext.sql(sql);
List<Row> rows = rdd.collect(); // rows.size() is zero when I would expect it to contain numerous rows.

CREATE TABLE trip (
    device_id bigint,
    deployment_id bigint,
    utc_startdate timestamp,
    other columns....
    PRIMARY KEY ((device_id, deployment_id), utc_startdate)
) WITH CLUSTERING ORDER BY (utc_startdate ASC);

Answer 1

您的表模式（特别是主键定义）是什么样子的？即使没有看到它，我也相当肯定您看到了这种行为，因为您没有使用分区键来限定查询。使用Allow Filtering指令将按date筛选行（假设这是您的集群键），但对于大型集群或大型数据集来说，这不是一个好的解决方案。

假设您正在查询某个地理区域的用户。如果使用区域作为分区键，则可以运行此查询，它将工作：

SELECT * FROM users
WHERE region='California'
AND date >= '2015-01-01' AND date <= '2015-12-31';

请阅读Patrick McFadin关于Timeseries数据入门的文章。这有一些很好的例子应该对你有所帮助。