Kafa：Kafka如何存储和检索每个消费群体的抵销？

Question

我并不是在寻找API来完成这个内部实现细节。

我知道最新版本的Kafka在一个特殊的Kafka主题__consumer_offset中为消费者群体存储偏移量。

我的问题是：

这个主题中的数据结构到底是什么？

当一个消费者群体死亡并出现时，Kafka如何在Topic Partitions中查找该消费者群体上次消费的偏移量？

就我的理解而言，Kafka主题不适合查找数据：例如：用于查询，例如：

从__consumer_offset中选择*偏移量*，其中消费者组名称=*消费者组*和主题=*主题-1*

基本上，我想知道__consumer_offset的内部细节或任何用于消费抵销管理的内容。

我看了这个https://cwiki.apache.org/confluence/display/KAFKA/Offset管理的维基页面，但是看不懂内存中的数据结构部分。

Answer 1

在__consumer_offsets主题中，每个使用者组都根据其散列被分配了一个特定的分区。

然后，将偏移量简单地写成__consumer_offsets主题的消息。

为了防止这个主题变得太大，定期删除给定消费者组的旧偏移量。

对于读取，Kafka代理将这些数据作为启动的一部分加载到内存中，这样每次对偏移量的请求都不会导致磁盘I/O。由于只有最新的偏移量被频繁访问，在正常操作中，这并不意味着要在内存中保存多少数据。