大量的表（2k）会导致写入超时异常吗？

Question

我正在运行OS卡桑德拉3.11.9与数据斯塔克斯Java驱动程序3.8.0。我有一个卡桑德拉键空间，它有多个表作为查找表/搜索索引。每当我收到对endpoint的新 POST 请求时，我都会解析该对象并将其插入到相应的 Cassandra 表中。我还将插入内容放入每个相应的查找表中。（每个对象 10-20 个）

当将大量数据接收到系统中时，我在驱动程序中遇到了WriteTimeoutExceptions。

我试图通过引入Apache Camel将插入请求序列化到查找表中，并将所有语句放入会话可以处理的队列中，但这没有帮助。使用Camel，由于异常现在发生在Camel线程中，测试继续运行，而不是在第一次异常时失败。最终，测试似乎让卡珊德拉崩溃了。(尽管卡桑德拉日志中没有任何内容)

我还尝试关闭查找表，改为向主表中插入每个对象15x的数据(模拟类似的写入次数，就好像我打开了查找表一样)。这个测试无一例外地通过了，这使我认为大量的表是问题所在。

大量（2k）Cassandra表是代码气味吗？我们应该重新架构还是投入更多资源？日志中没有显示任何指示性信息，主要是关于表数量等的一些状态-没有例外）

Datastax Java驱动程序可以像这样多线程使用吗？它说它是线程安全的。

Answer 1

大量的表对性能有直接的影响——参见本文档(整个系列都是很好的信息来源),以及这篇博文了解更多细节。基本上，对于大约1000个表，性能会下降大约20-25%。

这可能是一个原因，不是完全直接的，而是相关的。对于每个表，Cassandra需要分配内存，在memtable中为它分配一部分，保存有关它的信息，等等。这个特定的问题可能来自阻塞的memtable刷新，或者类似的问题。检查nodetool tpstats和nodetol tablestats是否有阻塞或挂起的memtable刷新。最好设置一些连续的监控解决方案，例如Apache Cassandra的指标收集器，并在一段时间内观察包含这些信息的重要指标。