时间序列的Cassandra数据模型

Question

我正在研究一个用于存储时间序列的卡桑德拉数据模型（我是卡桑德拉新手）。我有两个应用程序：日内股票数据和传感器数据。

库存数据将以一分钟的时间分辨率保存。七个数据字段构建一个时间框架：符号、日期时间、开盘、高位、低位、收盘、成交量

我将主要通过符号和日期来查询数据。例如，给我2013年1月1日到2013年1月31日之间按日期时间排序的AAPL的所有数据。cassandra查询的建议是查询整列。所以你可以用开仓、高位、低位、收盘、音量键创建五行。并且对于每个符号和分钟有自己的列。如“AAPL:2013-01-04T130400Z”。这将产生一个五行n*NT列的表，其中n =符号数，nT =分钟数。大多数时候我会查询日期范围。即一天的所有分钟。因此，我可以重新排列数据，使列名为“AAPL:2013-01-04”，行名为:OpenT130400Z，HighT130400Z，LowT130400Z，CloseT130400Z，VolumeT130400Z。这将产生一个具有n*nD列(n:符号数，nD:天数)和5*nM行(nM:每天的分钟数/条目数)的表格。

总结一下:我有列，为一个符号保存一整天的信息。

我在这里找到了如何在cassandra中处理时间序列数据的描述http://www.datastax.com/dev/blog/advanced-time-series-with-cassandra但是我真的不明白，如果他们使用小时（1332960000）作为列名或行键！？我知道他们使用小时作为行键，并将小时间步长作为列。所以他们会有一个固定的列号。但是这在阅读中会有缺点，因为我必须对键进行范围查询！我说得对吗？

第二个问题：如果我有传感器数据，它比1分钟的股票数据更细粒度（假设我必须以微秒的分辨率节省时间步长），我该如何处理？如果我使用列来保存传感器通道和小时的组合，以及自最后一个小时以来的微秒行，这将导致360000000行和n*nH列（n：传感器数量，nH：小时数）。我无法使用上个小时以来的微秒来计算列，因为我有36亿点，这比允许的20亿列的数量高。

我拿到了吗？你怎么看待这个问题？怎么解决？

非常感谢。

最好的，麦芽

Answer 1

所以我对你关于库存数据的第一个问题有一个建议。一个天真的实现可能如下所示：

行键：

列格式：

名称：当前日期时间粒度为一分钟

值：开盘价、最高价、最低价、收盘价、成交量的复合柱

所以你会有这样的东西

AAPL = [2013-05-02-15:38:00 | 441.78:448.59:440.63:15066146:445.52] ... [2013-05-02-15:39:00 | 441.78:448.59:440.63:15066146:445.52] ... [2013-05-02-15:40:00 | 441.78:448.59:440.63:15066146:445.52]

这将在一年内为您提供大约50万列，因此在4年内可能没问题。我不会去尝试达到20亿的限制。您可以做的是在行键上定义拆分因子。这完全取决于您的使用模式，但一个简单的使用模式可能是年份，因此列系列条目可能看起来像这样，带有复合行键，这将保证您每行的列始终少于一百万列。

AAPL:2013 = [05-02-15:38:00 | 441.78:448.59:440.63:15066146:445.52] ... [05-02-15:39:00 | 441.78:448.59:440.63:15066146:445.52] ... [05-02-15:40:00 | 441.78:448.59:440.63:15066146:445.52]