主题级的kafka偏移和日志保留配置
以上用于设置特定于主题的日志保留时间。但是我们如何在查询中指定偏移量保留。
共有1个答案
所有使用者和所有主题的提交使用者偏移量存储在单个内部“__consumer_offsets”主题中。因此，恐怕你不能单独控制每个主题的抵消保留。
注意：我看到，当您的某个主题的分区上长时间没有消息时，这可能会有问题。
我发现了以下可以帮助的票据:https://issues.apache.org/jira/browse/kafka-3806
第一个注释建议即使在使用者没有取得任何进展的情况下也要提交偏移（给定分区没有新消息到达），以避免这种确切的问题：
-
问题描述： 我们的Kafka consumer（在Spring Boot2.x中开发）正在执行几天。当我们重新启动这些消费者时，主题的所有消息都将被再次消费，但仅在特定条件下。 条件： 代理配置： 谢谢和问候
-
我有一个问题，假设有一个TOPIC T1，有两个消费者C1和C2属于两个不同的组，电流偏移量是0.我们知道Kafka维护消费者的偏移量。因此，如果 C1 使用消息并且 Offset 变为 1，那么如果 C2 使用消息，它将从 1 偏移量开始，还是从 0 偏移量开始使用消息，会发生什么情况？表示两个不同的消费群体将如何维持抵消？ 谢啦
-
我正在将日志消息写入Kafka Topic，我希望此主题的保留是永久的。我在Kafka和Kafka Connect（_schemas、连接-配置、连接-状态、连接-偏移等）中看到，有一些特殊主题不会因日志保留时间而删除。如何强制一个主题像这些其他特殊主题一样？是命名约定还是其他属性？ 谢啦
-
我在一个输入主题上构建KTable，并且在两个Kafka Stream应用程序实例上加入KStream。 KTable的输入主题已经是一个日志压缩主题。因此，当我的一个应用程序实例关闭时，通过读取input log compacted主题，另一个实例状态存储似乎会用整个状态刷新。 所以不需要为我的KTable存储启用日志记录（更改日志）？ 我的源输入日志压缩主题可能有数百万条记录，所以如果我在KT
-
为什么实际主题中的偏移值与同一主题中的偏移值不同？PFB偏移位置以及使用的命令。 我错过了什么？
-
我使用Kafka流对时间窗口进行一些聚合。我只对每个窗口的最终结果感兴趣，因此我使用了.suppress（）特性，该特性为其状态创建了一个changelog主题。 这个changelog主题的保留策略配置被定义为“紧凑”，我的理解是，它将至少保留每个键过去的最后一个事件。 我的应用程序中的问题是密钥经常变化。这意味着主题将无限增长（每个窗口都会带来永远不会被删除的新键）。 因为聚合是每个窗口的，所
-
问题内容： 在轮询Kafka时，我已经使用该功能订阅了多个主题。现在，我想设置的偏离，我想从每个主题阅读，而无需每次重新订阅后，并从一个话题。 在轮询数据之前，是否可以迭代调用每个主题名称 来 达到结果？偏移量如何精确存储在Kafka中？ 我每个主题有一个分区，并且只有一个使用者可以读取所有主题。 问题答案： Kafka如何存储每个主题的偏移量？ 卡夫卡已将抵销存储从动物园管理员转移到卡夫卡经纪人