对存储在卡桑德拉数据库上的 JSON 对象进行查询火花

Question

我在cassandra DB上构建了结构来存储操作系统数据的时间序列数据，如服务、进程和其他信息。为了理解如何使用Cassandra来存储JSON数据并通过条件的CQL查询检索数据，我倾向于简化模型。因为在整个模型数据库中，我将拥有比report_object更复杂的类型，如hashMap数组的hashMap，例如：TypeNETSTAT--

CREATE TYPE report_object (RTIME varchar, RMINORVER int, RUSER varchar, RLANG varchar, RSCRIPT varchar, RMAJORVER int, RHOST varchar, RPATH varchar);
CREATE TABLE test (
REPORTUUID uuid PRIMARY KEY,
report frozen<report_object>);

在表中，我在java类中使用以下查询注入了JSON数据：

INSERT INTO test JSON '{"REPORTUUID": "9fb21fb9-333e-4017-ab77-0fa6ee1e20e3" ,"REPORT":{"RTIME":"6/MAR/2016 6:0:0 PM","RMINORVER":0,"RUSER":"Administrator","RLANG":"vbs","RSCRIPT":"Main","RMAJORVER":5,"RHOST":"WIN-SAPV9MUEMNS","RPATH":"C:\\Users\\ADMINI~1\\AppData\\Local\\Temp\\IXP000.TMP"}}';

我用上面的查询插入了其他数据。澄清我的概念的问题是： - 我想使用检查类型定义的条件进行查询，CQL是否可以使用CQL或有必要使用spark SQL？

• 设计数据库模型是否符合目的（因为我已经从RDBMS传递到数据库非关系型数据库）？




Answer 1

为了能够使用Cassandra查询用户定义类型，您必须首先创建一个索引：

CREATE INDEX on test.test(report);

但它只允许基于完整文档的谓词：

SELECT * FROM test
WHERE report=fromJson('{"RTIME":"6/MAR/2016 6:0:0 PM","RMINORVER":0,"RUSER":"Administrator","RLANG":"vbs","RSCRIPT":"Main","RMAJORVER":5,"RHOST":"WIN-SAPV9MUEMNS","RPATH":"C:\\Users\\ADMINI~1\\AppData\\Local\\Temp\\IXP000.TMP"}');

有关如何按用户定义类型的字段筛选 cassandra 查询中的更多详细信息和说明

当使用 Spark 公开时，可以使用卡桑德拉表扫描RDD上的筛选器来过滤这些值：

val rdd = sc.cassandraTable("test", "test")
rdd.filter(row =>
  row.getUDTValue("report").getString("rscript") == "Main")

或，其中/filter对＜code>DataFrame

df.where($"report.rscript" === "Main")

尽管使用Spark进行类似查询时，必须先获取整个表，然后才能过滤数据。虽然不清楚你到底想达到什么目的，但这不太可能是一个有用的结构。