需要有关将数百万时间序列数据有效插入Cassandra DB的建议

Question

我想使用Cassandra数据库来存储测试站点的时间序列数据。我正在使用“时间序列数据建模入门”教程中的模式2，但不是将日期存储为日期来限制行大小，而是将其存储为一个＜code＞int＜/code＞，用于计算自1970年1月1日以来的天数，该值的时间戳是自纪元以来的纳秒数（我们的一些测量设备非常精确，需要精度）。我的值表如下所示：

CREATE TABLE values (channel_id INT, day INT, time BIGINT, value DOUBLE, PRIMARY KEY ((channel_id, day), time))

我创建了一个简单的基准，考虑到使用异步并为批量加载而不是批量准备语句:

  def valueBenchmark(numVals: Int): Unit = {
    val vs = session.prepare(
      "insert into values (channel_id, day, time, " +
      "value) values (?, ?, ?, ?)")
    val currentFutures = mutable.MutableList[ResultSetFuture]()
    for(i <- 0 until numVals) {
      currentFutures += session.executeAsync(vs.bind(-1: JInt,
        i / 100000: JInt, i.toLong: JLong, 0.0: JDouble))
      if(currentFutures.length >= 10000) {
        currentFutures.foreach(_.getUninterruptibly)
        currentFutures.clear()
      }
    }
    if(currentFutures.nonEmpty) {
      currentFutures.foreach(_.getUninterruptibly)
    }
  }

< code>JInt 、< code>JLong和< code>JDouble分别是简单的< code>java.lang.Integer 、< code>java.lang.Long和< code>java.lang.Double。

当我对 1000 万个值运行此基准测试时，对于本地安装的单节点 Cassandra，这需要大约两分钟。我的电脑配备了16 GiB的内存和四核i7 CPU。我发现这很慢。这是卡桑德拉刀片的正常性能吗？

我已经读过这些：

• 卡桑德拉的反模式
• 关于写入性能的另一个问题

还有什么我可以查的吗？

Answer 1

简单的数学：

1000万次插入/2分钟≈ 83 333，33333次插入/秒这对于单台机器来说是非常好的，您是否期望更快的速度？

顺便说一句，您的硬盘驱动器的规格是什么？固态硬盘还是旋转磁盘 ？

您应该知道大规模插入场景受CPU限制比受I/O限制更多。尝试在具有8个物理内核（因此使用超线程的16个vcore）的机器上执行相同的测试并比较结果。