《Kafka流》中Kafka话题的保留及其对国家存储的影响

Question

我在Kafka streams word-count应用程序中有一个状态存储（使用materialized.as())。
根据我的理解，状态存储在Kafka的内部主题中是保持的。

1. 状态存储是否可以有无限制的键值对，或者由基于log.retention策略或log.segment.bytes的kafka主题规则来管理？
2. 我设置了log.retention.ms=60000，并希望状态存储值在一分钟后重置为0。但我发现它没有发生，我仍然可以看到从state Store的值。kafka是完全清除日志还是保留case log-compaction主题中的快照？
3. “段提交”是什么意思？

如果有的话，请附上解决方案的来源。

Answer 1

状态存储是否可以有无限的键值对，或者它们是由基于log.retention策略或log.segment.bytes的kafka主题规则管理的？

是的，状态存储可以有无限的键值对=events（或'messages')。当然，本地应用程序存储空间和Kafka中的远程存储空间是允许的（后者用于在您的状态存储中持久地存储数据）。

应用程序的状态存储在压缩的内部Kafka主题中远程持久化。压缩意味着Kafka定期从存储中清除相同事件键（例如，Bob的旧帐户余额）的旧事件。但压缩主题不会删除每个事件键的最新事件（例如，Bob的当前帐户余额）。在压缩主题中存储多少个这样的“唯一”键值对没有上限。

我设置了log.retention.ms=60000，并希望状态存储值在一分钟后重置为0。但我发现它没有发生，我仍然可以看到从state Store的值。

将主题配置为压缩(log.cleanup.policy=compact)时，不使用log.retention.ms。有关详细信息，请参阅现有的SO question Log compaction以保持每个键仅一个消息，包括为什么压缩不立即发生（简而言之，这是因为压缩操作在分区段文件上，它不会触及最新的段文件，并且该文件中的每个事件键可能有多个事件）。

注意：您现在可以将配置log.cleanup.policy设置为压缩和基于时间/卷的保留的组合，使用log.cleanup.policy=compact,delete（有关详细信息，请参阅KIP-71)。但是通常情况下，除非你真的知道你在做什么，否则你不应该乱弄这个设置--默认值是你99%的时间所需要的。

Kafaka是完全清除日志还是保留快照，以防日志压缩主题？“段被提交”是什么意思？

我不明白这个问题，很不幸。：-）也许我之前的回答和参考链接已经满足了您的需求。我可以说的是，不，Kafka并没有完全清除日志。压缩操作是在主题分区的段文件上操作的。您可能需要阅读压缩是如何工作的，对此我建议写一篇类似https://medium.com/@sunny_81705/kafka-log-retention-and-cleanup-policies-c8d9cb7e09f8的文章，以防Apache Kafka文档还不够清楚。