Cassandra时间序列数据建模和限制分区大小

Question

我们目前正在调查卡桑德拉作为大型时间序列系统的数据库。

我已经通读了https://academy . datas tax . com/resources/getting-started-time-series-data-modeling关于Cassandra中时间序列数据建模的内容。

我们有许多气象站的高速时间序列数据。每个气象站都有许多“传感器”，每个传感器收集三个指标：温度、湿度和光照。

我们试图将每个系列存储为一个宽行。然而，我们希望在项目的生命周期内每个站获得数十亿的读数，所以我们想限制行大小。

我们希望每个（weather_station_id，年，day_of_year）都有一行，也就是说，每天都有一行。但是，我们仍然希望分区键是weather_station_id-也就是说，我们希望一个站的所有读数都在同一个节点上。

我们目前有以下模式，但我想得到一些反馈。

CREATE TABLE weather_station_data (
    weather_station_id int,
    year int,
    day_of_year int,
    time timestamp,
    sensor_id int,
    temperature int,
    humidity int,
    light int,
    PRIMARY KEY ((weather_station_id), year, day_of_year, time, sensor_id)
) WITH CLUSTERING ORDER BY (year DESC, day_of_year DESC, time DESC,       sensor_id DESC);

在上述文档中，他们利用了这种“按日期限制分区行”的概念。但是，我不清楚它们示例中的日期是否是分区键的一部分。

Answer 1

在我看来，数据税模型并不是很好。此模型的问题：

• 他们使用气象站作为分区键。具有相同分区键的所有行都存储在同一台计算机上。这意味着：如果你有10年的原始数据（100ms步长），你将非常快地打破卡桑德拉的限制。10 年 × 365 天 × 24 小时 × 60 分钟 × 60 秒 x 10（100 毫秒步长）x 7 列。限额是20亿。在我看来，如果你构建这个数据模型，你不会使用卡桑德拉的好处。对于每个气象站，您还可以使用mongo，mysql或其他数据库。

更好的解决方案：问问自己将如何查询这些数据。如果你说：我每年查询所有数据，也使用年份作为部分键。如果还需要查询一年以上的数据，可以创建两个不同年份的查询。这有效，性能更好。（瓶颈可能只是网络到你的客户端）

< li >还有一点提示:Cassandra不像mysql。这是一个非规范化的数据库。这意味着:不止一次保存你的数据并不脏。这意味着:每年查询数据很重要，每小时、每天或每个传感器id查询数据也很重要，您可以创建具有不同分区键和主键顺序的列族。复制你的数据没问题。Cassandra针对写性能进行了优化，而不是针对读性能。这意味着:以正确的顺序写入数据通常比以正确的顺序读取数据更好。在cassandra 3.0中有一个新特性，叫做物化视图，用于自动复制。如果你想:哦，不，我会复制所需的存储空间。记住:存储真的很便宜。1tb买十块硬盘没问题。它没有花费任何东西。性能很重要。

我有一个问题要问你:你能汇总你的数据吗？Cassandra有一个名为counter的列类型。您可以创建一个java/scala应用程序，在生成数据的同时在其中聚合数据。你可以为此使用一个流框架:Flink或Spark。(如果你需要的不仅仅是数数。).一种情况是:您汇总每小时和每天的数据。你在你的流媒体应用程序中获取数据。现在:你有一个每小时数据的变量。你可以向上或向下计数。如果一个小时结束了，你把这一行放到你的小时列族和日列族中。在你的每日专栏中，你使用了一个计数器。我希望，你明白我的意思。

Answer 2

根据教程，如果我们选择将weather_station_id作为唯一分区，那么该行将被耗尽。也就是说，C*对每个分区有20亿列的实际限制。

所以在我看来，你的数据模型很糟糕。

但是，我不清楚他们示例中的日期是否是分区键的一部分。

使用的教程

主键（（weatherstation_id，date），event_time）

所以，是的，他们认为数据是分区键的一部分。

我们希望一个站点的所有读数都在同一节点上。

我不知道你为什么不想要这样的要求。你总是可以通过多次查询获取超过一年的天气数据。

从weather_station_id=1234和年份= 2013的weather_station_data中选择*，从weather_station_data中选择*，其中weather_station_id= 1234，年份= 2014;

所以考虑改变你的结构

主键（（weather_station_id，年份），day_of_year，时间，sensor_id）

希望它有帮助！