使用spark cassandra连接器对多个群集列运行范围查询时出错：

Question

创建表my_table（年文本、月文本、日文本、小时整数、分钟整数、秒整数、主键（年、月、日）、小时、分钟、秒））

如果我使用cassandra cql运行以下查询，它可以工作：

SELECT * FROM my_table WHERE year ='2017' and month ='01' and day ='16' and (hour,min,sec) > (1,15,0) LIMIT 200

但是，当我使用spark-cassandra连接器运行相同的查询时，它不起作用：

sparkSession.read().format("org.apache.spark.sql.cassandra").options(map).load()
                .where(year ='2017' and month ='01' and day ='16' and (hour,min,sec) >= (1,15,0)");

> Exception in thread "main" org.apache.spark.sql.AnalysisException:
> cannot resolve '(struct(`hour`, `min`, `sec`) >= struct(1, 15, 0))'
> due to data type mismatch: differing types in '(struct(`hour`, `min`,
> `sec`) >= struct(1, 15, 0))'  and (struct<hour:int,min:int,sec:int>
> struct<col1:int,col2:int,col3:int>).; line 1 pos 96

Answer 1

很简单，CQL与Spark、Sql或Catalyst不兼容。您所看到的是语法上的冲突。

此where子句：

.where(year ='2017' and month ='01' and day ='16' and (hour,min,sec) >= (1,15,0)

不是直接推给卡桑德拉。相反，它被转换为catalyst谓词。这就是你有问题的地方

(hour,min,sec) >= (1,15,0)

struct<hour:int,min:int,sec:int>

struct<col1:int,col2:int,col3:int>

这些不是元组，而是显式类型化的结构。它们不能直接比较，因此您的错误。在DataFrame api中，您只需定义一个具有正确类型的新结构，并对其进行文字说明，但我不确定如何在SparkSQL中表达。

无论如何，这个元组谓词不会被下推到Cassandra。您定义的hour,min,sec结构将对Cassandra隐藏，因为基础表不提供结构 ，这意味着Spark认为它需要在从Cassandra提取数据后生成该结构。

您最好使用@Akashethi提到的和单独的子句