Kafka流中的内存与持久状态存储？

Question

我已经阅读了有状态流处理概述，如果理解正确的话，RocksDB被用作键值存储的默认实现的主要原因之一是这样一个事实，即与内存中的集合不同，它可以处理大于可用内存的数据，因为它可以刷新到磁盘。这两种类型的存储都可以在应用程序重新启动时幸存下来，因为数据是作为Kafka主题备份的。

但还有其他不同吗？例如，我注意到我的持久状态存储为每个主题分区创建了一些。log文件，但它们都是空的。

简而言之，我想知道用内存中的存储替换持久存储有什么性能优势和可能的风险。

Answer 1

我对Kafka流的内部和状态存储的不同用例的理解非常有限。内存中与持久化之间的关系，但是到目前为止我所学到的是，持久化状态存储是存储在磁盘上的StreamTask的状态存储（因此称为持久化）。

这并没有给出太多的答案，因为内存中与持久化的名称本身可能给出了相同的理解，但当我了解到Kafka Streams试图将分区分配给以前分配过分区的相同的Kafka Streams实例时（重新启动或崩溃），我觉得非常令人耳目一新。

也就是说，在每次重新启动之前，只需重新创建（重播）内存中的状态存储，这在Kafka Streams应用程序启动和运行之前需要时间，而持久状态存储是已经在磁盘上具体化的东西，Kafka Streams实例重新创建状态存储的唯一时间是从磁盘加载文件（而不是从changelog主题加载文件，这需要更长时间）。

我希望这能有所帮助，如果我错了（或部分正确），我会很高兴被纠正。