MySQL中有个handlersocket,直接跳过数据库处理中的sql分析过程,直接调用存储引擎的接口,可以大幅度提升数据库的性能。我的测试中,使用handlersocket与sql,可以提升约3-5倍,在我的环境中单条“增删改查”可以达到2.5TPS左右,没有作者说得可以达到10万TPS。
有一个hs4j的java客户端,但是有些功能没有完善,还有一个不太正常的现象,就是连接时间长了,就会断开,没有定位具体的原因。所以自己写了客户端,基于netty 4,算是对netty 4的一次尝试,netty 4与netty 3区别很大。
代码已在github开源:
https://github.com/flyinmind/HandlerSocket4Java
代码结构比较清晰,HSBenchMark.java是性能测试程序,也是调用样例,com.huodian.hs4j.command中是处理协议命令的类,com.huodian.hs4j.netty中处理netty相关的内容。
可以支持批量处理,在我的环境中,批量处理并没有大幅度提升性能,我分析,瓶颈应该在数据库,所以批量没有提升性能,但是在批量时,客户端CPU占用会下降。使用InnoDB于MyISAM存储引擎都试过,虽然官网说支持InnoDB,但是MyISAM引擎也是可以的,比InnoDB更快。
数据库服务器中innodb_buffer_pool_size设置为8G,数据量最大3200万行,每行7列。32万->320万->3200万的数据量都尝试过,数据量上升时,性能没有明显下降,可能是内存没有利用起来。随着数据量上升,内存消耗逐步上升,3200万行时只占用了2G内存,内存没有用起来,不知道有什么设置可以将内存充分用起来。
handlersocket优点,相当于sql性能更高,相对于memcached,可以持久化,支持多列等,因为基于存储引擎,所以数据库的集群也是可以支持的(我没测试),使用handlersocket时,服务端CPU消耗更少。
但是,有个比较大的缺点,有handlersocket客户端连接时,我测试的是,这时不能调整表结构。同时查询只能基于索引,不能关联多个表等(这些都是可以接受的)。
原文:http://blog.csdn.net/flyinmind/article/details/20864535