保留期后的Kafka抵销
我有一个Kafka的题目有1个分区。如果它有100条消息，偏移量将从0.99开始。
根据Kafka保留策略，在指定的时间之后，所有的消息都将被清除。
并且我正在发送100个新的消息到主题，一旦所有已经被清除（在保留期之后）。现在，消息的新偏移量从哪里开始呢？是从100还是从0？？
我想知道新的偏移是100-199还是0-99？
共有1个答案
Kafka通过删除满足谓词的日志段来遵守日志保留策略，并且它永远不会删除活动日志段，这意味着活动日志段的基偏移量将始终保持。
对于您的示例，如果第一批100条消息都在同一个日志段中，则Kafka将创建一个基偏移量为100的新日志段，并在经过一段日志保留期后删除旧的日志段。所以一个新消息从100开始偏移。
-
在一个消费者群体中的所有消费者都失败后，kafka会将该消费者群体的补偿存储多长时间？是否有此配置变量？
-
假设我有一个多代理（运行在同一主机上）的Kafka设置，其中有3个代理和50个主题，每个主题配置为有7个分区和3个复制因子。 我有50GB的内存要用于kafka，并确保kafka日志永远不会超过这个内存数量，因此我想配置我的保留策略以防止这种情况。 我已设置删除清理策略： 我应该如何配置上述参数，以便每7天删除一次数据，并确保如果需要，可以在较短的窗口中删除数据，这样我就不会耗尽内存？
-
我想为我们拥有的一些用例实现数据回放，为此，我需要使用Kafka保留策略（我使用的是连接，我需要窗口时间才能准确）。附言：我正在使用Kafka版本0.10.1.1 我将数据发送到主题中，如下所示： 我创建的主题如下： Kafka主题--创建--zookeeper localhost:2181--复制因子1--分区1--主题myTopic Kafka主题--zookeeper localhost--
-
本文向大家介绍在Kafka集群中保留期的目的是什么？相关面试题，主要包含被问及在Kafka集群中保留期的目的是什么？时的应答技巧和注意事项，需要的朋友参考一下 答：保留期限保留了Kafka群集中的所有已发布记录。它不会检查它们是否已被消耗。此外，可以通过使用保留期的配置设置来丢弃记录。而且，它可以释放一些空间。
-
我用Spark streaming Kinesis开发了应用程序。我在2015年10月30日启动了我的应用程序，它运行正常。我看到今天（2015-11-02）我重新启动了应用程序，它开始处理2015-11-02。为什么？保留期？在文档中 msgstr"您可以使用增加保留时间操作将保留时间延长至168小时" 我尝试使用文档中描述的命令增加 aws运动增加流保留期--流名称XXXX--保留期小时数16