当前位置: 首页 > 知识库问答 >
问题:

清理策略:压缩/删除和日志保留

蒋泰
2023-03-14

我有一个关于Kafka主题清理策略和它们的日志.保留...

例如,如果我将cleanup.policy设置为compact,则只有在主题的保留时间或保留时间对压缩没有影响之后才会开始压缩?

答案Thx...

共有1个答案

王棋
2023-03-14

可以删除或压缩日志段,或同时删除或压缩日志段,以管理日志段的大小。主题级配置cleanup.policy确定主题的日志段的管理方式。

通过压实清理日志

如果主题级配置cleanup.policy设置为compact,则日志清理器会定期在后台压缩主题的日志。

不需要将log.retention设置为-1或任何其他值。您的主题将被压缩,旧的消息永远不会被删除(根据压缩规则)。

请注意,只能压缩非活动文件段;活动段将永远不会被压缩。

使用两者进行日志清理

https://cwiki.apache.org/confluence/display/kafka/kip-71%3a+启用+日志+压缩+和+删除+共存

 类似资料:
  • 一个与主题压缩有关的问题。在压缩主题中,当日志清理器在清理特定键的以前偏移量(3,4,5)时出现延迟(假设5是最新的偏移量),而作为使用者使用这些偏移量时,即使3和4还没有压缩,我会只看到该键的最新偏移量(5)吗?还是使用者将按照该顺序获得(3,4,5)?

  • coolie 的内容压缩也是别具一格。 <link/> <!--page1.html--> <!--coolie--> <link href="path/to/module1.css"> <link href="path/to/module2.css"> <link href="path/to/module3.css"> <link href="path/to/module4.css"> <!-

  • 我需要压缩Weblogic日志。 我检查了Weblogic控制台的日志设置,发现我可以旋转日志,但没有看到可以为日志压缩(压缩到zip文件)设置的任何属性。 当前设置如图所示。 有没有自动压缩这些日志的方法?

  • 日志压缩可确保 Kafka 始终至少为单个 topic partition 的数据日志中的每个 message key 保留最新的已知值。 这样的设计解决了应用程序崩溃、系统故障后恢复或者应用在运行维护过程中重启后重新加载缓存的场景。 接下来让我们深入讨论这些在使用过程中的更多细节,阐述在这个过程中它是如何进行日志压缩的。 迄今为止,我们只介绍了简单的日志保留方法(当旧的数据保留时间超过指定时间、

  • 一、为什么Bitmap需要高效加载? 现在的高清大图,动辄就要好几M,而Android对单个应用所施加的内存限制,只有小几十M,如16M,这导致加载Bitmap的时候很容易出现内存溢出。如下异常信息,便是在开发中经常需要的: java.lang.OutofMemoryError:bitmap size exceeds VM budget 为了解决这个问题,就出现了Bitmap的高效加载策略。其实核

  • iOS SDK的日志发送时刻,包含以下两种: 在APP进入后台超过sessionResumeInterval时长后,会发送日志 关于sessionResumeInterval,请参考本文档API配置部分 每次新的Session开始时,会发送日志,新的session开始有两种逻辑: 应用冷启动,即应用从不运行状态到运行状态。 应用热启动,即应用从后台唤醒到前台状态。(处于后台时间需要超过sessio