Kafka偏题保留期问题
共有1个答案
保留值可以在kafka broker中使用以下方法配置：
offsets.retention.minutes
默认值为24小时。参见：Kafaka消费群体抵销留存
编辑：从Kafaka2.0开始，默认值为7天。
-
我有一个Kafka的题目有1个分区。如果它有100条消息，偏移量将从0.99开始。 根据Kafka保留策略，在指定的时间之后，所有的消息都将被清除。 并且我正在发送100个新的消息到主题，一旦所有已经被清除（在保留期之后）。现在，消息的新偏移量从哪里开始呢？是从100还是从0？？ 我想知道新的偏移是100-199还是0-99？
-
问题内容： 我的日期格式是，它产生日期： 但我需要这样的日期： 什么日期格式将产生带有冒号的偏移量？ 问题答案： 您可以使用这种格式 看看该文档以获取更多信息。 PS：- 正如我的朋友 @Thomas所 提到的，这仅适用于 Java 7 及更高版本。
-
假设我有一个多代理（运行在同一主机上）的Kafka设置，其中有3个代理和50个主题，每个主题配置为有7个分区和3个复制因子。 我有50GB的内存要用于kafka，并确保kafka日志永远不会超过这个内存数量，因此我想配置我的保留策略以防止这种情况。 我已设置删除清理策略： 我应该如何配置上述参数，以便每7天删除一次数据，并确保如果需要，可以在较短的窗口中删除数据，这样我就不会耗尽内存？
-
我有一个问题，假设有一个TOPIC T1，有两个消费者C1和C2属于两个不同的组，电流偏移量是0.我们知道Kafka维护消费者的偏移量。因此，如果 C1 使用消息并且 Offset 变为 1，那么如果 C2 使用消息，它将从 1 偏移量开始，还是从 0 偏移量开始使用消息，会发生什么情况？表示两个不同的消费群体将如何维持抵消？ 谢啦
-
在创建期间配置所有主题的保留策略 正在尝试配置租用。ms使用spring，因为我得到一个错误： 原因：java.util.concurrent。ExecutionException:org.apache.kafka.common.errors。PolicyViolationException：保留无效。ms指定。允许的范围是[3600000..2592000000]，根据我读取的值，新值是-1（无
-
我想为我们拥有的一些用例实现数据回放，为此，我需要使用Kafka保留策略（我使用的是连接，我需要窗口时间才能准确）。附言：我正在使用Kafka版本0.10.1.1 我将数据发送到主题中，如下所示： 我创建的主题如下： Kafka主题--创建--zookeeper localhost:2181--复制因子1--分区1--主题myTopic Kafka主题--zookeeper localhost--