3.1 数据存储模型

数据存储模型

如图所示是Talos数据存储的组织形式

• 逻辑结构：如图左上角，数据以Topic形式存在，逻辑上分为多个partition，图中topic有8个partition，partition id 为 [0, 7]

• 物理结构：每个Partition在硬盘上是以多个文件组织而成，如图 Partition 7 由 3 个文件组成：file 1，file 2，file 3；

• Message组织形式：用户写入Talos的Message在文件中是以append的方式追加入文件，如图Partition 7的file 3是由一条条message组成，每条message包括header和content, 第1000条message被put到partition7后是被append到file 3中去了；

• Offset含义：offset表示这条消息在整个Partition中是第几条，如图file 3存储的消息offset范围是 [700, 1000]