什么是TimeTunnel

index - Taocode

欢迎使用TimeTunnel

PageOutline(1-3,,inline)

什么是TimeTunnel

!TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。

高性能

2k大小的消息，峰值每秒 4w TPS的访问。淘宝 3台服务器，每天处理 2.3T（压缩后）数据，峰值每秒 50MByte流入流量、 130MByte流出流量

实时性

90%的消息 5ms以内送达

顺序性

如果你开启了顺序传输功能，timetunnel保证消息的发布顺序和订阅顺序是一致的

高可靠性

存储方面，我们设计了内存->磁盘->hadoop dfs三级缓存机制，确保数据可靠。 系统方面，我们将服务器节点组织成环，在环里面每一个节点的后续节点是当前节点的备份节点，当某节点故障时，后续节点自动接管故障节点数据，以保证数据可靠性

高可用性

单个节点故障，不影响系统正常运行

可扩展性

可以对系统进行横向和纵向扩展，横向扩展可以向现有的服务环里面增加节点，纵向扩展可以增加服务环

 

谁使用TimeTunnel

目前TimeTunnel在淘宝广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。

编译安装

• linux环境

系统介绍

• 系统架构
• 配置信息

快速入门

• api document
• example

相关应用

• TailFile:日志收集的客户端，实时读取文件增量，将内容转化为TimeTunnel消息发送到设定的Topic
• SaveFile:通用数据订阅客户端，订阅TimeTunnel消息，将消息以文件的形式写入本地磁盘，是连接TimeTunnel和现有应用的最好接口，和DfsWriter应用结合在一起，可以将数据实时写入hadoop
• DfsWriter:读取TimeTunnel消息格式的二进制文件或者文本文件，将文件同步到hadoop

其他参考

• attachment:淘宝开源timetunnel入门文档.pdf (感谢 string同学提供的文档!)