压缩后的Kafka主题可以用作键值数据库吗？

Question

在许多文章中，我读到压缩的Kafka主题可以用作数据库。然而，当查看Kafka API时，我找不到允许我根据键查询主题值的方法。

那么，压缩的Kafka主题可以用作（高性能、只读）键值数据库吗？

在我的架构中，我希望为组件提供一个紧凑的主题。我想知道该组件是否需要在其本地数据库中具有该主题的副本，或者它是否可以将该压缩主题用作键值数据库。

Answer 1

压缩的kafka主题本身和基本的消费者/生产者kafka API不适合键值数据库。但是，它们被广泛用作持久KV数据库/缓存数据的后备存储，即：例如，在写入方法中。如果您出于某种原因需要重新预热缓存，只需重播整个主题以重新填充。

在Kafka世界中，您有Kafka Streams API，它允许您公开应用程序的状态，即：对于您的KV用例，它可以是订单的最新状态，通过可查询的状态存储。状态存储是KV数据库的抽象，实际上是使用名为RocksDB的快速KV数据库实现的，在发生灾难的情况下，该数据库是完全可恢复的，因为它的完整数据保存在Kafka主题中，所以它很有弹性，可以作为用例的数据源。

假设这是您的Kafka Streams应用程序架构：

为了能够查询这些Kafka Streams状态存储，您需要在Kafka Streams应用程序中捆绑HTTP服务器和REST API，以查询其本地或远程状态存储（Kafka在主题中跨多个分区分发/切分数据，以实现并行处理和高可用性，Kafka Streams也是如此）。因为Kafka Streams API提供了元数据，让您知道密钥驻留在哪个实例中，所以您肯定可以查询任何实例，如果密钥存在，则可以返回响应，而不管密钥驻留在哪个实例中。

使用这种方法，您可以一枪杀死两只鸟：

1. 使用Kafka Streams大规模进行有状态流处理
2. 以KV数据库查询模式样式向外部客户端公开其状态

所有这些都在一个实时、高性能、分布式和弹性的体系结构中。

这些图片来源于罗伯特·施密德（Robert Schmid）的一篇更广泛的文章，在这篇文章中，你可以找到其他细节和一个原型，用Kafka流实现可查询的状态存储。

值得一提的是：

如果您不想使用Kafka Streams API实现所有这一切，请看一下Confluent的ksqlDB，它在Kafka Streams之上提供了更高级别的抽象，只需使用一种酷而简单的SQL方言，就可以使用pull查询实现相同类型的用例。如果你想真正快速地创建原型，看看罗宾·莫法特（RobinMoffatt）的这个答案，甚至这篇博客文章，来把握它的简单性。

虽然ksqlDB不是Apache Kafka项目的一部分，但它是开源的、免费的，并且构建在Kafka Streams API之上。