Kafka-紧凑和基于时间的保持

Question

我尝试创建一个使用压缩和删除的Kafka主题配置，以实现以下目标：

• 在保留期限内，保留密钥的最新版本
• 在保留期之后，要删除的任何早于时间戳的消息

cleanup.policy=[compact,delete]
retention.ms=864000000 (10 days)
min.compaction.lag.ms=3600000 (1 hour)
min.cleanable.dirty.ratio=0.1
segment.ms=3600000 (1 hour)

log.retention.hours=7 days
log.segment.bytes=1.1gb
log.cleanup.policy=delete
delete.retention.ms=1 day

当我在测试中将其设置为较小的量时，例如20mins、1hr等，我可以正确地看到数据在保留期后被修剪，只需调整主题上的retention.ms。

我可以看到数据正按照预期的那样被正确压缩，但是如果我从一开始就阅读主题，那么在10天的保留期之后，比10天早得多的数据仍然存在。这么长的保留期，这是问题吗？

我错过了什么配置吗？我已经检查了kafka日志，看到代理正在按预期滚动分段和压缩，但看不到任何关于删除的内容？

Kafka版本为5.1.2-1

Answer 1

可能会出现这样的情况：主题和代理配置相互覆盖，最终评估的是一个重要性更高的配置。