Apache InLong（原 Apache TubeMQ 项目更名）是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，较之于众多明星的开源 MQ组件，TubeMQ 在海量实践（稳定性+性能）和低成本方面有着比较好的核心优势。
2019 年 9 月 12 日，Apache 软件基金会成立 20 周年之际，腾讯在 ApacheCon 宣布 TubeMQ 捐赠给 ASF。TubeMQ 成为腾讯开源第一个捐赠 Apache 基金会的项目。
特性：
- 纯 Java 实现语言
- 引入 Master 协调节点：相比 Kafka 依赖于 Zookeeper 完成元数据的管理和实现 HA 保障不同，TubeMQ 系统采用的是自管理的元数据仲裁机制方式进行，Master 节点通过采用内嵌数据库 BDB 完成集群内元数据的存储、更新以及 HA 热切功能，负责 TubeMQ 集群的运行管控和配置管理操作，对外提供接口等；通过 Master 节点，TubeMQ 集群里的 Broker 配置设置、变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度
- 服务器侧消费负载均衡：TubeMQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级
- 系统行级锁操作：对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题
- Offset 管理调整：Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉ZK依赖，考虑到后续的功能扩展就暂时保留）
- 消息读取机制的改进：TubeMQ 采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带 SSD 设备的机器,增加消息滞后转 SSD 消费的处理，解决消费严重滞后时吞吐量下降以及 SSD 磁盘容量小、刷盘次数有限的问题，使其满足业务快速生产消费的需求
- 消费者行为管控：支持通过策略实时动态地控制系统接入的消费者行为，包括系统负载高时对特定业务的限流、暂停消费，动态调整数据拉取的频率等；
- 服务分级管控：针对系统运维、业务特点、机器负载状态的不同需求，系统支持运维通过策略来动态控制不同消费者的消费行为，比如是否有权限消费、消费时延分级保证、消费限流控制，以及数据拉取频率控制等
- 系统安全管控：根据业务不同的数据服务需要，以及系统运维安全的考虑，TubeMQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求
- 资源利用率提升改进：相比于 Kafka，TubeMQ 采用连接复用模式，减少连接资源消耗；通过逻辑分区构造，减少系统对文件句柄数的占用，通过服务器端过滤模式，减少网络带宽资源使用率；通过剥离对 Zookeeper 的使用，减少 Zookeeper 的强依赖及瓶颈限制
- 客户端改进：基于业务使用上的便利性以，我们简化了客户端逻辑，使其做到最小的功能集合，我们采用基于响应消息的接收质量统计算法来自动剔出坏的 Broker 节点，基于首次使用时作连接尝试来避免大数据量发送时发送受阻
-
InLong 简介 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 Apache InLong（应龙）是腾讯捐献给 Apache 社区的一站
-
Apache社区首个一站式大数据集成顶级项目正式诞生。 刚刚获悉，全球最大的开源软件基金会Apache软件基金会正式宣布，Apache InLong成功从Apache孵化器毕业成为社区顶级项目，这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架，可以为大数据开发者提供百万亿级数据流高性能处理能力，以及千亿级数据流高可靠服务。 稍微科普一下，Apache软件基金会对所有的 Apache 项
-
1.Hadoop相关的问题 在windows中，由于Inlong的很多单元测试用例都需要用到hadoop的相关组件进行测试。可以采用winunits配合测试，winutils是windows上专门配合hadoop和yarn测试的工具。 在github上下载该工具： git clone https://github.com/steveloughran/winutils.git 之后选择一个版本，配
-
apache 配置错误信息 Common Apache Errors 常见的Apache错误 This tutorial series explains how to troubleshoot and fix some of the most common errors that you may encounter when using the Apache web server. 本教程系列说明
-
这个是报错信息 Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint to int. The type path of the target object is: - field (class: "scala.Int", name: "age") E
-
OpenStack使用消息传递（我想默认情况下是RabbitMQ？）用于节点之间的通信。另一方面，Kubernetes（谷歌内部博格的血统）使用RPC。Docker的swarm也使用了RPC。两者都是基于grpc/protofbuf的，在Google内部似乎也大量使用。
-
数据存储容量的问题。 数据读写速度的问题。 数据可靠性的问题。 几种常见 RAID 的对比|名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0，将数据从内存写入磁盘时，将数据分成 N 块，并发写入，读取同理。所以，读写速度是单盘的 N 倍。|任何一块盘损坏，数据完整性破坏，数据不可用。| |RAID 1|数据写入磁盘时，将一份数据同时
-
发布确认原理 生产者将信道设置成 confirm 模式，一旦信道进入 confirm 模式，所有在该信道上的消息都会被指派一个唯一的 ID（从一开始），一旦消息被投递到所有匹配的队列后，broker 就会发送一个确认给生产者（包含消息的唯一ID），这就使得生产者知道消息已经正确到达目的队列了 如果消息和队列是持久化的，那么确认消息会在将消息写入磁盘后发出，broker 回传给生产者的确认消息中 ，
-
主要内容：1、Master-Slave架构,2、异步日志持久化机制,3、检查点机制：定时持久化全量数据,4、引入检查点节点,5、总结 & 思考这篇文章，给大家来聊一个生产级的中间件系统的架构设计实践，希望给对中间件系统感兴趣的同学一点启发。 1、Master-Slave架构 这个中间件系统的本质是希望能够用分布式的方式来处理一些数据，但是具体的作用涉及到核心技术，所以这里不能直接说明。 但是他的核心思想，就是把数据分发到很多台机器上来处理，然后需要有一台机器来控制N多台机器的分布式处理，大概如下
-
一、介绍 HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成： NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，
-
主要内容：8. 发布高级确认,8.1 发布确认SpringBoot版本,8.2 回退消息,8.3 备份交换机8. 发布高级确认 在生产环境中由于一些不明原因，导致RabbitMQ重启，在RabbitMQ重启期间生产者消息投递失败，导致消息丢失，需要手动处理和恢复 于是，我们开始思考，如何才能进行RabbitMQ的消息可靠投递呢？特别是在这样比较极端的情况下，RabbitMQ集群不可用的时候，无法投递的消息该如何处理呢？ 8.1 发布确认SpringBoot版本 8.1.1 发布确认方案 当交换机
-
主要内容：一、从一个新闻门户网站案例引入,二、推算一下你需要分析多少条数据？,三、黄金搭档：分布式存储+分布式计算这篇文章聊一个话题：什么是分布式计算系统？ 一、从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。 但是有些经验尚浅的同学，可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个概念做一个科普类的分析。 如果你要理解啥是分布式计算，就必须先得理解啥是分布式存储，现在我们从一个小例子来引入。 比如说
-
任何我们可以实现的解决方案或模式？