在没有 Yarn 的情况下,集群的资源无法在 MapReduce、Storm、Spark 等计算框架之间协调使用。有 Yarn 之后,集群上所有的资源以 Container 为单位, 交由 Yarn 统一管理。每个计算框架实现 ApplicationMaster 接口,便可向 Yarn 申请资源。 参考资料 Hadoop YARN配置参数剖析(1)—RM与NM相关参数 Hadoop YARN配置参
FastDFS是一个开源的轻量级分布式文件系统,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合中小文件(建议范围:4KB < file_size <500MB),对以文件为载体的在线服务,如相册网站、视频网站等。 2. 架构介绍 FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端
1.1 Hadoop简介 2005年,Lucene 的创始人 Doug Cutting 主持开发完成了首款支持海量数据存储计算的分布式开源框架—Hadoop。Hadoop的初始定位是服务于大量的具有廉价硬件设备的服务器,且对存储的数据具有较高的容错性,随着 Hadoop功能的逐步完善,目前 Hadoop已经晋升为 Apache的顶级项目。Hadoop框架主要包括 Hadoop分布式文件系统(HDF
Redis 监控
1.2.2 Hbase 数据存储目录解析 目录 内容 .tmp 对表进行创建或删除操作时,将表放入 tmp 中。 WALs 操作日志。 archive 存储表的归档与快照,Hbase 在分割或合并操作时,将新生成 HFile 写入 archive 中,删除之前的 HFile 。 corrupt 损坏的日志文件。 data 存储系统表数据和用户表数据。 hbase.id 标识 hbase 进程。 h
MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档,数据结构由键值对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。 MongoDB支持各种编程语言,RUBY,PYTHO
Hawq 技术解析
Impala 性能调整(翻译)
Greenplum数据库软件是业内首创的大规模并行处理(massively parallel processing (MPP))的数据库软件产品,它包含大规模并行计算技术和数据库技术最新的研发成果:包括无共享/MPP,行列存储数据库,数据库内压缩,MapReduce,永不停机扩容,多级容错等等。该软件产品被业界认可为扩展能力最大的分析型(OLAP)数据库软件。已有100多家世界级重大客户采用该软件
Mysql主从分步与读写分离 LVS+Keepalived实现mysql的负载均衡 # 查看所有表 show tables # 查看表结构 desc <tablename> # 删除表 drop tables <tablename> # 创建表 create table user( id INT NOT NULL AUTO_INCREMENT, username VARCHAR(100
Postgresql调研 摘要 本文介绍了Postgresql的功能和集群构建方案,及集群读写分离、负载均衡和分库功能的实现方法。 1. 简介 PostgreSQL是一个功能强大的、可靠性高、能保证数据完整性和一致性对象的开源关系数据库系统。它可以运行在所有主流的操作系统上,包括Linux、UNIX(AIX, BSD, HP-UX, SGI IRIX, MACOS, Solaris, Tru64)
术语 通用术语 Blockchain:区块链,基于密码学的可实现信任化的信息存储和处理技术。 CA:Certificate Authority,负责证书的创建、颁发,在 PKI 体系中最为核心的角色。 Chaincode:链上代码,运行在区块链上提前约定的智能合约,支持多种语言实现。 Decentralization(去中心化):无需一个第三方的中心机构存在。 Distributed(分布式):非
统一特殊词汇的翻译标准,请按字典序记录。 a 英文 中文 address space 地址空间 allocator 分配器 b 英文 中文 boot loader 引导加载器 buffer cache 缓冲器高速缓存,块缓冲 c 英文 中文 (sleep/wakeup) channel (睡眠/唤醒)队列 console 控制台 context 上下文 convoy 护航 coroutine 共行
标签(label): 一个域名的独立组成部分,比如'alice.eth'中的'alice'。 标签散列(labelhash): 单个标签的keccak256散列。 域名(name): ENS标识符,如'alice.eth',一个ENS域名可能由多个独立部分(标签)组成,标签之间用点分隔。 Namehash: 用于处理ENS域名并返回唯一标识该域名的加密散列的算法。Namehash以域名作为输入,并
builder(生成器) 一个解析文档并执行对它们的操作的类(继承自 Builder)。通常,生成器把文档转换成输出的格式,不过,也能够使用生成器完成其他的事情:例如检查文档里的链接是否损坏,或者生成覆盖率信息。 请看 Available builders 对Sphinx的内置的生成器有个更详细的了解。 configuration directory(配置文件目录) 包含 conf.py 的目录。