Kafka-未压缩主题与压缩主题

Question

我在《掌握Kafka Streams and ksqlDB》一书中遇到了以下两个短语，作者使用了两个术语，它们的真正含义是“压缩主题”和“未压缩主题”

他们对“日志压缩”有什么看法吗？

表可以被认为是对数据库的更新。在日志的这种视图中，只保留每个键的当前状态（给定键的最新记录或某种聚合）。表通常是从压缩的主题构建的。

用数据库的说法，流可以被视为插入。每个不同的记录都保留在此日志视图中。流通常是从未压缩的主题构建的。

Answer 1

从本文中：

压缩主题背后的思想是不存在重复键。只保留消息键的最新值。

它主要用于应用程序崩溃或系统故障前恢复到以前的状态，或应用程序重启后重新加载缓存时的场景。

作为上述kafka的一个示例，主题__consumer_offsets可用于从崩溃或重新启动后读取的最后一条消息继续。模式注册表也经常用于确保生产者和消费者之间的兼容通信。使用的模式维护在__schemas主题中。

Answer 2

是的，这些术语是同义词。

参考：原木压实

Answer 3

是的，根据kafka docs，日志压缩

日志压缩确保Kafka将始终至少保留单个主题分区的数据日志中每个消息键的最后一个已知值

https://kafka.apache.org/documentation/#compaction

如果在主题上启用了日志压缩，则当分区日志中存在具有相同密钥的更新版本时，Kafka会删除任何旧记录。

有关原木压实的更多详细说明，请参阅-https://medium.com/swlh/introduction-to-topic-log-compaction-in-apache-kafka-3e4d4afd2262