性能强劲的Tokyo Cabinet 和 Tokyo Tyrant

厉文栋
2023-12-01

Tokyo Cabinet

Tokyo Cabinet (简称TC)是Mikio Hirabayashi开发的一种DBM的开发库,其数据文件只有一个,里面存放多个<key,value>的数据记录,所有操作都是依据 key做主键操作。key,value都可以是连续不定长,即可以是二进制,也可是是字符串。数据文件中的记录组织有三种模式,hash表,B+树,定长 数组。

做为hash表,主键key必须是唯一的,方法有:按key来存储value到一个记录,按key来删除一个记录,按key来获取一个记录的 value。另外还有一个获取所有key的方法,获取的key是不排序的。TC可以做为NDBM,GBM的替代品,因为有更高的性能。

当采用B+树时,可以存储相同key的多条记录,有存储,删除,读取的方法,还可以按照一定顺序来读取记录。

做为一个定长数组,key必须是自然数,其它的和hash表完全一样,因为key是自然数,所以速度比hash表要快。

以上三种数据库即可以只保存在内存中,也可以指定保持到硬盘。应用最广泛的,当然就是hash表了。

Tokyo Tyrant

单单的TC数据库,用处不大,宿主程序需要进行很多开发。TC的作者开发了Tokyo Tyrant (TT)这个网络服务程序,除了自己的二进制协议,还提供了现在被广泛应用的HTTP协议,memcached协议来访问TC数据库,这样一来,一下子就扩展了TC的使用范围,让TC从一个单纯的开发库变成了易用,高效的数据库系统。

TT支持的协议包括memcached的持续连接,http1.1的长连接,并且数据文件,有热备,更新日志,复制功能,这些都给TT很高的可用性 和高性能。并且,TT内嵌lua脚本的支持,可以对数据进行处理。(看来lua脚本已经是unix下内嵌脚本的首选了)。目前(2008.12)为止TT 只能运行在linux,freebsd,macos系统上。

安装等请参见官网 ,或者s135文章

TT的程序

TT的服务器程序是ttserver ,默认端口1978(作者的出生在1978?后来在他主页得到了验证)。在启动的时候,根据参数 dbname名来确定使用的TC数据库类型。如果为"*",则使用内存hash表,如果为"+",则使用内存B+库,如果后缀为".tch",则使用 hash表,如果后缀为".tcb",则使用B+树数据库,如果后缀为".tcf",则使用定长数组。如果dbname参数被省略,则采用内存hash数 据库。

在ttserver众多的启动参数中,有两个参数在正式使用时非常有用,-mask expr, -unmask expr,分别是禁止的命令,允许的命令。在正式使用时,最好能把vanish(删除所有数据)屏蔽掉,就像linux系统中把rm -rf * 屏蔽了一样。

  ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [-ext path] [-mask expr] [-unmask expr] [dbname]

  -host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
  -port num : 指定需要绑定的端口号。默认端口号为1978
  -thnum num : 指定线程数。默认为8个线程。
  -tout num : 指定每个会话的超时时间(单位为秒)。默认永不超时。
  -dmn : 以守护进程方式运行。
  -pid path : 输出进程ID到指定文件(这里指定文件名)。
  -log path : 输出日志信息到指定文件(这里指定文件名)。
  -ld : 在日志文件中还记录DEBUG调试信息。
  -le : 在日志文件中仅记录错误信息。
  -ulog path : 指定同步日志文件存放路径(这里指定目录名)。
  -ulim num : 指定每个同步日志文件的大小(例如128m)。
  -uas : 使用异步IO记录更新日志(使用此项会减少磁盘IO消耗,但是数据会先放在内存中,不会立即写入磁盘,如果重启服务器或ttserver进程被kill掉,将导致部分数据丢失。一般情况下不建议使用)。
  -sid num : 指定服务器ID号(当使用主辅模式时,每台ttserver需要不同的ID号)
  -mhost name : 指定主辅同步模式下,主服务器的域名或IP地址。
  -mport num : 指定主辅同步模式下,主服务器的端口号。
  -rts path : 指定用来存放同步时间戳的文件名。
  (以上cp自
http://blog.s135.com/post/362.htm )
  -ext path : 扩展的脚本文件
  -mask expr : 需要禁止的命令,多个命名用","隔开
  -unmaks expr : 允许的命令
   除了覆盖TC基本的操作命令,例如put,get,out,等,还有一些另类的表达式:all:所有命令,allorg:所有的二进 制协议,allmc:所有的memcached协议,allhttp:所有的http协议, "allread" is the abbreviation of `get', `mget', `vsiz', `iterinit', `iternext', `fwmkeys', `rnum', `size', and `stat'. "allwrite" is the abbreviation of `put', `putkeep', `putcat', `putshl', `putnr', `out', `addint', `adddouble', and `vanish'. "allmanage" is the abbreviation of `sync', `copy', `restore', and `setmst'. "repl" means replication as master. "slave" means replication as slave.

如果不想这么麻烦的启动,可以使用ttservctl简单的命令来控制。ttservctl start,stop,restart,hup。使用这个命令,数据库文件位于/var/ttserver/casker.tch,log等相关文件位于 /var/ttserver。

ttulmgr :用来在二进制ulog文件(update log)和text格式的TSV文件之间转换

ttserver对外有三种协议,可以用curl程序调用http协议访问,可tt自带的客户端程序,使用私有二进制协议访问。

tcrtest :测试程序, tc remote test
tcrmttest :多线程测试程序 tc multi-thread test
两个测试程序写入的数据key,value均是8字节的,按照00000001,00000002格式

tcrtest write host rnum : 写入 rnum条记录(是重新写,不是追加)
tcrtest read host : 读出所有记录
tcrtest remote host : 删除所有记录

tcrmgr : 测试和调试ttserver的程序,很多用法就就见官方文档了,主要有:
tcrmgr inform host : 获取服务器的信息
tcrmgr put host key value : 添加记录
tcrmgr get host key : 获取记录
tcrmgr out host key : 删除记录
tcrmgr list host : 列出数据库中所有的key(这个在memcached中是需要patch才能实现的)
tcrmgr vanish host : 删除所有数据

还有一些命名是和主从同步,备份相关的

ttserver和用户数据库

TC,ttserver这种DBM方式的数据库,对我们目前的应用来说,最适合的是用来作用户数据库,完全用userid做key。通常存储用户数 据库,都使用的是关系型数据库,例如:mysql,pgsql,oracle。从用户数据库特性(数据格式单一,访问量大等)来说,DBM格式是最适合 的。在采用TC,ttserve上,最大的问题就是技术支持和持久性。仔细分析这点,对很多普通公司(不深入到opensource代码级)来说,用 mysql,pgsql,oracle等,有了问题,也就是用这些数据库提供的管理命令弄弄,调调参数,重启,从备份中恢复。其实和你使用 TC,ttserver,可做的事情都是一样。再退一万步来说,如果真需要深入到源代码级寻找问题,TC,ttserve两个加起来才1M不到,和 mysql,pgsql源代码的复杂程度的几十分之一。
google的账户数据库就是<key,value>形式的Berkeley DB (简称:BDB,已经被oracle收购了), Google. Accounts uses Berkeley DB HA for the storage and retrieval of user

ttserver和memcached

ttserver是数据库,memcached是缓存。两者都是保存<key,value>形式的数据,通过key进行任何操作。 ttserver可以将数据持久化保存,memcached全部是保存在内存中,memcached会自动删除过期数据,最长不超过30天。 memcached在和一些api配合时,能自动进行数据的出入序列化,读取反序列化。ttserver有主从复制的功能,操作日志等,这完全是数据库才 有的东西。据说memcached正在对整体架构做调整,到时候支持plugin机制.会把网络,事件处理,内存存储剥离开来.以后要做基于磁盘的 key-value存储就可以写一个存储引擎就成了。memcached的二次开发又步入一个小高潮。

TC和BDB

BDB配置开发起来比较麻烦,因为它没有ttserver这个一样的网络接口。BDB的数据文件会比较大,有时需要执行文件收缩,利用BDB开发的memcachedb就有这种问题。BDB开发已经很长时间了,成熟度高,无论是bug,支持,资料会比tc要好很多。

ttserver和关系型数据库

ttserver是<key,value>形式,在根据key进行读取,写入时速度是飞快的,但在做统计的时候,就比较麻烦了,还是需 要自己写程序,从ulog中到处log,转换成sql语句,后台写入关系型数据库,然后再利用成熟的接口,逻辑,进行统计。或者应用在更改 ttserver时,发送消息(mq,syslog等)到辅助进程,辅助进程进行相应的数据操作。这种情况下,关系数据库完全是ttserver的另一种 形式的存在,除了性能有所缺陷,在应用,统计上更加方便。

====

2009.3.8 补充

使用B+存储,可以构造FIFO的队列,通过tcbmgr put -dd c.tcb a aa 可存放进具有重复主键的值,在get的时候,只获取第一个。而使用out命令,可以删除第一个值。

-dd 是 dbputdup缩写的意思。

在1.4.0版本的tc后,又多了一种存储方式 tct,包含了字段的概念。

 类似资料: