Kafka消费群体活跃度空主题分区

Question

跟进这个问题——我想知道消费者组和偏移过期之间的语义学。总的来说，我很想知道，kafka协议如何确定一些特定的偏移量（对于消费者组、主题、分区组合）过期？它是基于作为组协议一部分的消费者的定期提交，还是在所有消费者被视为已死/关闭后应用ofatle-tick？我认为这可能会在处理数据不经常生成的主题分区时产生影响。在我的例子中，我们有一个来自相当空闲主题的消费者组读取（产生的数据不多）。由于消费者组不定期提交任何偏移量，我们是否会有丢失先前提交的偏移量的危险。例如，当发生一些不可预见的重新平衡时，主题分区可能会被重新分配并丢失偏移量提交，这可能会导致消费者从最早（配置auto.offset.reset）点读取数据？

Answer 1

对于用户主题，偏移到期/主题保留与消费者组偏移完全解耦。当消费者访问细分市场时，细分市场不会“重新打开”。

至少，<代码>段。字节，保留时间。毫秒（或分钟/小时），保留时间。字节数决定何时删除日志段。

对于内部__consumer_offsets主题，offsets.retention.minutes控制何时删除它（也与其segment.bytes协调）。

LogCleaner线程定期主动移除闭合段，而不是使用者。如果消费者明显滞后，并且在请求已删除段的偏移量时，则自动。抵消应用重置。