TimeTunnel

实时数据传输平台
授权协议 Apache
开发语言 Java
所属分类 服务器软件、 分布式应用/网格
软件类型 开源软件
地区 国产
投 递 者 祁乐邦
操作系统 跨平台
开源组织 阿里巴巴
适用人群 未知
 软件概览

什么是TimeTunnel
!TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。
高性能
2k大小的消息,峰值每秒4w TPS的访问。淘宝3台服务器,每天处理2.3T(压缩后)数据,峰值每秒50MByte流入流量、130MByte流出流量
实时性
90%的消息5ms以内送达
顺序性
如果你开启了顺序传输功能,timetunnel保证消息的发布顺序和订阅顺序是一致的
高可靠性
存储方面,我们设计了内存->磁盘->hadoop dfs三级缓存机制,确保数据可靠。 系统方面,我们将服务器节点组织成环,在环里面每一个节点的后续节点是当前节点的备份节点,当某节点故障时,后续节点自动接管故障节点数据,以保证数据可靠性
高可用性
单个节点故障,不影响系统正常运行
可扩展性
可以对系统进行横向和纵向扩展,横向扩展可以向现有的服务环里面增加节点,纵向扩展可以增加服务环
谁使用TimeTunnel
目前TimeTunnel在淘宝广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。

  • 靠自己努力赚钱:[url]http://72191.taobao.com[/url] 0.介绍 TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。 高性能 2k大小的消息,峰值每秒4w TPS的访问。淘宝3台服务器,每天处理2.3T(压缩后)数据,峰值每秒50MByte流入流量、130MByte流出

  • 什么是TimeTunnel index - Taocode 欢迎使用TimeTunnel PageOutline(1-3,,inline) 什么是TimeTunnel !TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。 高性能 2k大小的消息,峰值每秒 4w TPS的访问。淘宝 3台服务器,每天处

  • zookeeper http://www.tuicool.com/articles/6nYJbmR    

  • 1. 下载安装JDK。本文使用的是jdk-7u4-linux-i586.tar.gz。 2. 下载apache-maven-3.0.4-bin.tar.gz,解压到目标文件夹: root@ubuntu:/usr/local# tar zvxf apache-maven-3.0.4-bin.tar.gz 设置环境变量: root@ubuntu:~# vim /etc/p

  • 1. 下载安装JDK。本文使用的是jdk-7u4-linux-i586.tar.gz。 2. 下载apache-maven-3.0.4-bin.tar.gz,解压到目标文件夹: root@ubuntu:/usr/local# tar zvxf apache-maven-3.0.4-bin.tar.gz 设置环境变量: root@ubuntu:~# vim /etc/profile 在文件最后加入:

  • TimeTunnel是一个高效的、可靠的、可扩展的实时数据传输平台,广泛应用于实时日志收集、数据实时监控、广告效果实时反馈、数据库实时同步等领域。TimeTunnel基于发布\订阅的消息模型开发,支持消息多用户订阅 。 开源地址: http://code.taobao.org/project/view/411/

  • package com.taobao.timetunnel.savefile.app; import java.io.IOException; import java.io.InputStream; import java.util.Arrays; import java.util.Properties; import org.apache.log4j.Logger; /*

  • 在淘宝,每天有1000多台服务器生成日志文件,日志总量大概有10T,每天成千上万的报表基于这些数据进行计算。有的报表每半小时计算一次,有的报表每天计算一次,还有些非报表应用需要实时进行数据分析。如何保证这些报表和应用按时收到自己需要的数据?每天10T的数据,换算成峰值流量是10T/12小时= 242.73MB/S,这么大的流量应该如何管理? 淘宝实时数据传输平台-timetunnel就是因这些需求

 相关资料
  • 我正在使用python从USB输入设备读取数据。我想知道是否有一种方法可以与MATLAB中的模型实时交换。我现在的做法是将读取的数据保存在一个.mat文件中,然后让模型从那里读取数据,这不是很直观。我使用的代码如下所示:

  • 默认我们的数据传输都是不经过加密的,要加密传输的话得用上HTTPS协议。easyopen在1.4.0版本开始提供了数据加密传输,不需要HTTPS协议。 easyopen基于公私钥+AES加密传输,交互流程如下: 0. 事先把公钥放在客户端,私钥放在服务端 1. 客户端生成一个随机码randomKey 2. 将randomKey通过公钥RSA加密str = rsa_encode(randomKey,

  • 与Firebase console中的Firebase Firestore一样,谷歌云平台中的Firestore中也有相同的数据,同样的,Firebase Realtime Database(json文件)在谷歌云平台中也有

  • 问题内容: 我想知道是否可以使用Node.js将数据从服务器流式传输到客户端。我想将单个AJAX请求发布到Node.js,然后将连接保持打开状态并将数据连续流式传输到客户端。客户端将收到此流并不断更新页面。 更新: 更新-我无法使其正常工作。在你打电话之前不发送。我建立了一个示例程序来实现此目的: Node.js: HTML: 使用这种方法,我打电话之前什么都没拿回来。这是否可能,或者我应该使用长

  • Gob 是 Go 自己的以二进制形式序列化和反序列化程序数据的格式;可以在 encoding 包中找到。这种格式的数据简称为 Gob (即 Go binary 的缩写)。类似于 Python 的 "pickle" 和 Java 的 "Serialization"。 Gob 通常用于远程方法调用(RPCs,参见 15.9 的 rpc 包)参数和结果的传输,以及应用程序和机器之间的数据传输。 它和 J

  • 主要内容:相关知识,2.系统环境,3.任务内容,4.任务步骤1.相关知识 Flume是一个海量日志采集、聚合和传输的日志收集系统。 Kafka是一个可持久化的分布式的消息队列。 由于采集和处理数据的速度不一定同步,所以使用Kafka这个消息中间件来缓冲,如果你收集了日志后,想输出到多个业务方也可结合Kafka,Kafka支持多个业务来读取数据。 上图中Kafka生产的数据,是由Flume提供的,这里我们需要用到Flume集群,通过Flume集群将Agent