存储在Cassandra中的流式金融时间序列-性能差

Question

我们正在评估Cassandra用于金融时间序列数据的过程中，并试图了解以最高效的方式存储和检索我们需要的数据的最佳方法。我们在一个虚拟机上运行Cassandra,该虚拟机上已经分配了8个内核和8GB RAM。主机的剩余资源（另外8个内核和12GB RAM)用于开发测试客户机应用程序。我们的数据目前存储在平面文件中，每天大约有100-150GB（未压缩）。就从cassandra检索数据而言，我们需要能够流式传输：

null

create table MarketData (
Security text
,Date date
,Timestamp timestamp
...
other columns
...
primary key((Security,Date),timestamp));

var ps = client.Session.Prepare("select security, date, timestamp, toUnixTimestamp(timestamp), from marketdata where security = ? and date = ?");
int pageSize = 450;
var statement = ps.Bind("AAPL_O",new LocalDate(2016,01,12)).SetPageSize(pageSize);
stopwatch.Start();
var rowSet = client.Session.Execute(statement);
foreach (Row row in rowSet)
{
}
stopwatch.Stop();

此外，这种模式在跨分区（即多个证券）选择排序数据方面也会有问题，因为它涉及到跨分区排序，而Cassandra似乎不太适合这一点。

我们还将基于minute的partinioning与以下模式结合起来：

创建表MarketData（年int、月int、日int、小时int、分钟int、安全文本、Timestamp时间戳...其他列...主键（年、月、日、小时、分钟）、时间戳）；

谢谢

Answer 1

“...表现不佳...”

“我们正在虚拟机上运行Cassandra”

我想这两个突出显示的词是相关的：）.出于好奇，你的硬盘是什么性质的？共享存储？SAN？旋转磁盘？SSD？双向硬盘？

对于虚拟机和虚拟化存储，您将停用所有针对磁盘吞吐量的Cassandra优化。在虚拟化磁盘上连续写入数据块并不能保证数据被有效地按顺序写入，因为管理程序/虚拟磁盘控制器可以对数据进行重新排序，以便在实际物理磁盘上的几个块上进行拆分

虚拟机上的Cassandra部署只适用于P.O.C验证数据模型和查询。您需要有专用的物理硬盘来用Cassandra对数据模型的实际性能进行基准测试。