替代Cassandra中的Batch语句进行原子操作，以避免性能影响

Question

我们有一个应用程序，使用Cassandra作为数据存储。为了便于访问，相同的数据需要用不同的分区键存储在多个表中。为了将数据存储到多个表中，使用了批处理语句。使用batch语句的原因是为了确保数据被全部写入或全部不写入。

有了这个设置，最近我们开始看到由于用户群的增加而导致的许多写入超时错误。我们遇到了许多博客和文章，其中提到Batch语句被错误地用于存储多个分区。

参考资料:

• https://docs.datastax.com/en/dse/6.0/cql/cql/cql_using/useBatchGoodExample.html
• 卡桑德拉的批量限制是多少
• Cassandra Batch语句多个表
• https://grokbase.com/t/cassandra/user/153gsmdzs6/writing-to-multiple-tables

原因似乎是协调器节点上的负载很大，进而导致延迟。在cassandra中有一个增加write_request_timeout_in_ms的选项。yaml设置为高于默认值5s。我们尝试了此操作，但仍然请求失败。因此，我们将此设置更新为现在使用executeAsync。这样，WriteTimeout异常就完全消失了。

但现在的问题是 - 我们如何处理原子性？下面是更新为使用执行异步的代码。使用执行异步是否是使用批处理语句的正确替代方法？有没有办法在异常块中处理回滚？

try {
    for (ListenableFuture<ResultSet> futureItem : futureItems) {
        futureItem.get();
    }
} catch (Exception e) {
    // need to handle rollback ?
}

Answer 1

专门为高可用性和分区容差（CAP的AP）而设计的NoSQL数据库不能提供高引用完整性。相反，它们被设计为提供高吞吐量和低延迟读写。Cassandra本身没有跨表引用完整性的概念。

批处理插入和LWT在未大规模使用之前都很好。对于您的用例，您需要重新审视如何使用Cassandra以及如何设计数据处理管道以向所有表提供弹性写入。

考虑解耦所有这些表写入，使用kafka之类的东西使它们并行弹性管道，然后将数据持久化到Cassandra表。您可以只创建一次数据管道，从而确保引用数据的完整性。Cassandra确实支持Kafka连接器

https://www.datastax.com/blog/2018/12/introducing-datastax-apache-kafkatm-connector

Answer 2

最终，你所要求的是不存在的——出于设计。

>

对于写入的原子性，您找到了批处理的解决方案。对于写入的替代原子性，最终没有。

对于数据的硬一致性——包括写和读，您可以设置写和读的一致性级别，以确保硬一致性(WC: Local_Quorum，RC: Local_Quorum)

许多较新的用户/开发团队经常试图在Cassandra上强制使用关系类型规则，但随着时间的推移，他们对Cassandra的使用通常会带来对其设计的信任，允许可调一致性、减少停机时间和可伸缩性。