日志压缩，每个密钥只保留一条消息

Question

我想创建一个主题，其中包含唯一键及其对应的最新值。因此，当将具有现有密钥的消息插入主题时，旧消息将被删除。

为此，我在服务器中配置了以下参数。属性文件：

log.cleaner.enable=true
log.cleanup.policy=compact

# The minimum age of a log file to be eligible for deletion due to age
log.retention.minutes=3

log.retention.bytes=10737418

# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.segment.bytes=1073741

# The interval at which log segments are checked to see if they can be deleted according
# to the retention policies
log.retention.check.interval.ms=60000

# The maximum time before a new log segment is rolled out (in milliseconds).
# If not set, the value in log.roll.hours is used
log.roll.ms=600000

所以压缩应该每3分钟进行一次。为了测试压缩策略，我创建了一个主题retention_test

kafka-topics --zookeeper localhost:2181 --create --topic retention_test --replication-factor 1 --partitions 1

使用控制台使用者，kafka控制台生产者——代理列表localhost:9092——主题保留测试——属性解析。key=true—属性键。分隔符=：我产生了以下消息：

>1:first
>2:second
>3:third

其中，控制台消费者——引导服务器本地主机：9092——主题保留测试——从一开始就成功地消费了它们；

first
second
third

现在，当我尝试插入带有已添加键的消息时，旧消息似乎不会被忽略，并保留在主题中：

在生产者方面：

>1:updatedFirst

请注意，为了测试该行为，在3分钟的保留期过去很久之后，我多次重新启动了消费者。输出为

first
second
third
updatedFirst

期望的输出应该是

second
third
updatedFirst

因为第一个和更新的第一个具有相同的键。

根据文件：

日志压缩为我们提供了一个更细粒度的保留机制，以便我们保证至少保留每个主键的最后一次更新

是否可以每个键只保留一条消息（最近的一条），而不是至少保留一条消息（包括最近的一条）？

Answer 1

我认为这通常是不可能的。Kafka将每个主题的每个分区的消息分段存储。每个段都是一个文件，它们只会作为一个整体添加（或删除）。压缩仅通过重新写入现有段文件而起作用，跳过稍后有具有相同密钥的消息的消息。但是，头段（当前正在向其添加新消息的头段）不会被压缩（直到创建了一个新段成为头段）。

您通过日志配置的3分钟。当记录时，保留配置不起作用。清理。策略=紧凑，仅当记录时有效。清理。策略=删除

为什么给定键只有一条消息很重要？如果您提供有关用例的更多信息，也许可以建议一种替代方法。