yadcc（Yet Another Distributed C++ Compiler）是一套腾讯广告自研的分布式编译系统，用于支撑腾讯广告的日常开发及流水线。相对于已有的同类解决方案，其针对实际的工业生产环境做了性能、可靠性、易用性等方面优化。
yadcc 目前在腾讯 1700+ 核的集群中每天编译 300,0000+ 个目标文件，产出约 3~5TB，已经持续稳定运营 8 个月。取决于代码逻辑及本地机器配置，yadcc 可以利用几百乃至 1000+ 核同时编译（腾讯内部使用 512 并发编译），大大加快构建速度。
具体简介及技术细节可以参考技术文档。
系统要求
- Linux 3.10 及以上内核，暂不支持其他操作系统；
- x86-64 处理器；
- 编译
yadcc需要GCC 8 及以上版本的编译器，基于yadcc进行分布式编译时可以支持其他更低版本编译器。
基本原理
- 客户端伪装成编译器（通常是通过
ln -sf yadcc g++创建的符号链接） - 通过将客户端伪装的编译器加入
PATH头部，这样构建系统就会实际执行yadcc来编译 yadcc会按照命令行对源代码进行预处理，得到一个自包含的的预处理结果- 以预处理结果、编译器签名、命令行参数等为哈希，查询缓存，如果命中，直接返回结果
- 如果不命中，就请求调度器获取一个编译节点，分发过去做编译
- 等待直到从编译集群中得到编译结果，并更新缓存
由于预处理时间通常远小于编译时间，因此这样可以降低单个文件的本地开销。同时，由于等待编译结果时本地无需进行操作，因此可以增大本地的编译并发度（如8核机器通常可以make -j100），以此实现更高的吞吐。
需要注意的是，分布式编译通常只能提高吞吐，但是不能降低单个文件的编译耗时（假设不命中缓存）。因此，对于无法并发编译的工程，除非命中缓存，否则分布式编译通常不能加快编译，反而可能有负面效果。
设计特点
系统由调度器、缓存服务器、守护进程及客户端组成：
- 对上层的构建系统（Make、CMake，Blade、Bazel 等）透明，方便适配各种构建系统。
- 调度器全局共享，所有请求均由调度节点统一分配。这样，低负载时可允许客户端尽可能提交更多的任务，集群满载时可阻塞新请求避免过载。
- 中心的调度节点也避免了需要客户机感知编译集群的列表的需要，降低运维成本。
- 编译机向调度器定期心跳，这样我们不需要预先在调度器处配置编译机列表，降低运维成本。
- 分布式缓存避免不必要的重复编译。同时本地守护进程处会维护缓存的布隆过滤器，避免无意义的缓存查询引发不必要的网络延迟。
- 使用本地守护进程和外界通信，这避免了每个客户端均反复进行TCP启动等操作，降低开销。另外这也允许我们在守护进程处维护一定的状态，提供更多的优化可能。
- 客户端会和本地守护进程通信，综合控制本地任务并发度避免本地过载。
- 通过编译器哈希区分版本，这允许我们的集群中存在多个不同版本的编译器。
同时，做了多层重试，确保不会因为网络抖动、编译机异常离线等工业场景常见的问题导致的不必要的失败。
-
问题内容： Linux中有没有可用的软件可以编译包含多核或分布式系统上并行大量文件的源代码。像gcc或xserver这样的库在单核/双机上花费大量时间进行编译，并且在大多数情况下，当您需要大量重新编译时，它们令人沮丧。有什么技术可以并行编译这些源代码？ 问题答案： 在分布式内存系统上，可以使用distcc将编译作业分配给其他计算机。这需要一些设置，但是如果碰巧有一些额外的机器，它确实可以加快构建速
-
主要内容：一、从一个新闻门户网站案例引入,二、推算一下你需要分析多少条数据？,三、黄金搭档：分布式存储+分布式计算这篇文章聊一个话题：什么是分布式计算系统？ 一、从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。 但是有些经验尚浅的同学，可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个概念做一个科普类的分析。 如果你要理解啥是分布式计算，就必须先得理解啥是分布式存储，现在我们从一个小例子来引入。 比如说
-
被别人指出问题时，别管别人能不能做到，看别人说的对不对，然后完善自己。别人能不能做到是别人的事情，自己能不能做到关系到自己能否发展的更好。——hustlihaifeng Go语言号称是互联网时代的C语言。现在的互联网系统已经不是以前的一个主机搞定一切的时代，互联网时代的后台服务由大量的分布式系统构成，任何单一后台服务器节点的故障并不会导致整个系统的停机。同时以阿里云、腾讯云为代表的云厂商崛起标志着
-
数据存储容量的问题。 数据读写速度的问题。 数据可靠性的问题。 几种常见 RAID 的对比|名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0，将数据从内存写入磁盘时，将数据分成 N 块，并发写入，读取同理。所以，读写速度是单盘的 N 倍。|任何一块盘损坏，数据完整性破坏，数据不可用。| |RAID 1|数据写入磁盘时，将一份数据同时
-
万法皆空，因果不空。 随着摩尔定律碰到瓶颈，越来越多的系统要依靠分布式集群架构来实现海量数据处理和可扩展计算能力。 区块链首先是一个分布式系统。 中央式结构改成分布式系统，碰到的第一个问题就是一致性的保障。 很显然，如果一个分布式集群无法保证处理结果一致的话，那任何建立于其上的业务系统都无法正常工作。 本章将介绍分布式系统中一些核心问题的来源以及相关的工作。
-
分布式程序是那些旨在在计算机网络上运行并且只能通过消息传递协调其活动的程序。 我们可能想要编写分布式应用程序的原因有很多。 这里是其中的一些。 Performance - 我们可以通过安排程序的不同部分在不同的机器上并行运行来使程序更快。 Reliability - 我们可以通过将系统结构化以在多台机器上运行来制造容错系统。 如果一台机器出现故障，我们可以继续使用另一台机器 Scalability
-
问题内容： 这是一段Java代码： 它不编译，什么是概率？错误：该行上有多个标记；’bool’变量上的语法错误。我希望它能打印出来。虽然根据我的教程书可以打印。 我知道它会发生短路，但如果&&双方都需要进行评估，那不是家庭作业，我正在学习Java。干杯 问题答案： 等效于：- 由于被评估为，因此第二个表达式不被评估，因为在那里您使用了 短路运算符（||） 。 因此，最后两个任务不会发生。和值和保持
-
一、介绍 HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成： NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，