Kafka主题如何运作

Question

我有一个关于主题偏移在Kafka中是如何工作的问题，它们是否存储在Kafka中的B树状结构？

我要求它的具体原因，让我们说我有一个主题，在主题中有1000万条记录，这将意味着1000万偏移，如果没有发生压缩或关闭，现在如果我使用consumer.seek（5000000），它将像LinkList的意思是，它将转到0偏移量，并尝试从那里跳到第500000个偏移量，或者它确实有类似索引的结构，可以准确地告诉日志中的第500000条记录在哪里？

答案是什么？

Answer 1

Kafka记录按顺序存储在日志中。文档中详细描述了确切的格式。

Kafka通常希望读取是顺序的，因为消费者按顺序获取记录。但是，当需要随机访问（通过搜索或从特定位置重新启动）时，Kafka使用索引文件根据偏移量快速查找记录。

Kafka原木由几个部分组成。每个段都有一个索引和一个相关联的时间索引文件，它将偏移量和时间戳映射到文件位置。可以使用index.interval.bytes配置将条目添加到索引的频率。使用这些文件，Kafka能够立即寻找到附近的位置，并避免重读所有消息。

您可能已经注意到在不干净的关闭后，Kafka正在重建索引几分钟。正在重建的是这些用于文件位置查找的索引。