Ceph

目录 常用命令 查看状态 启动/停止 分类命令 ceph mon ceph mds ceph osd ceph pg ceph osd pool rados ceph-deploy 块设备|rbd的一些命令 修改ceph进程的配置：（临时生效） 查看ceph进程配置 1. 查看ceph默认配置： 2. 查看 *.id（如osd.1） 的默认配置： 3. 查看 *.id（如osd.1）的某项默认配置

目录 一、什么是分布式文件系统 二、常用的分布式文件系统 三、什么是ceph 3.1 ceph组件 3.1.1 RADOS Components 3.2 ceph实验的配置 3.2.1 部署ceph集群 3.2.2 开始部署 3.2.3 验证 3.3 Ceph块存储 3.3.1 什么是块存储 3.3.2 创建镜像 3.3.3 动态调整大小 3.3.4 集群内通过KRBD访问 3.3.5 客户端通过

数据存储容量的问题。 数据读写速度的问题。 数据可靠性的问题。 几种常见 RAID 的对比|名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0，将数据从内存写入磁盘时，将数据分成 N 块，并发写入，读取同理。所以，读写速度是单盘的 N 倍。|任何一块盘损坏，数据完整性破坏，数据不可用。| |RAID 1|数据写入磁盘时，将一份数据同时

Ceph 文件系统（ Ceph FS ）是个 POSIX 兼容的文件系统，它使用 Ceph 存储集群来存储数据。 Ceph 文件系统与 Ceph 块设备、同时提供 S3 和 Swift API 的 Ceph 对象存储、或者原生库（ librados ）一样，都使用着相同的 Ceph 存储集群系统。 Important 当前， CephFS 还缺乏健壮得像 ‘fsck’ 这样的检查和修复功能。存储重

一、介绍 HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成： NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，

Tip ceph fs new 命令是从 Ceph 0.84 起引入的，在此之前，无需手动创建文件系统，名为 data 和 metadata 的存储池默认即存在。 Ceph 命令行现在有了创建和删除文件系统的命令，但是当前一套集群只能有一个文件系统存在。 一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据。配置这些存储池时需考虑： 为元数据存储池设置较高的副本水

Hadoop分布式文件系统（HDFS）的设计主旨，在于对超大规模数据集提供可靠的存储功能，并对用户应用程序提供高带宽的输入输出数据流。在大型的集群里，上千台服务器均可直接参与到数据存储和应用程序任务执行。通过多服务器，分布式的存储和计算，计算资源的规模能够按照需要增长，并兼顾在各种规模上经济适用性。 本文主要描述了HDFS的架构，并以Yahoo!企业数据服务为例，介绍了如何使用HDFS系统管理高达

开始实践 Ceph 文件系统入门手册前，必须先完成存储集群快速入门。在管理节点上完成此入门。 准备工作 确认你使用了合适的内核版本，详情见操作系统推荐。 lsb_release -a uname -r 在管理节点上，通过 ceph-deploy 把 Ceph 安装到 ceph-client 节点上。 ceph-deploy install ceph-client 确保 Ceph 存储集群在运行，

原文链接：http://www.aosabook.org/en/hdfs.html 作者：Robert Chansler, Hairong Kuang, Sanjay Radia, Konstantin Shvachko与Suresh Srinivas HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）的设计宗旨，是可靠地存储极大的数据集，并将其以

当 RADOS 集群使用率达到总容量的 mon_osd_full_ratio （默认 95% ）时，它会被打上 OSD full 标记。在问题解决前（如扩容集群），此标记会使大多数常规 RADOS 客户端暂停所有操作。 文件系统对 full 标记还有些特殊处理，下文详述。 Hammer 及更高版 从 hammer 发布开始，以下行为会导致占满的文件系统返回 ENOSPC 错误： 客户端写入数据 删