ceph-deploy配置ceph分布式集群

ceph-deploy配置ceph分布式集群

graph LR
ceph-deploy-->ceph-node1
ceph-deploy-->ceph-node2
ceph-deploy-->ceph-node3

说明

ceph-depoly install使用说明：

• 不通过–release指定版本的话， 会默认安装最新版本
• 不设置–no-adjust-repos的时候，会根据安装的版本，自动下载ceph和epel官方源文件，并设置官方源地址。由于国内访问国外原地址，经常恶心人，所以我们通过–no-adjust-repos禁用自动配置源，而通过手动配置ceph和epel源。
• 需要python2-pip和deltarpm组件支持。

由于环境限制，实验过程中，我们会将ceph-deploy角色部署到ceph-node1上，最终角色图如下：

基础环境准备

分区

• sda:40G 系统分区，安装系统
• nvme0n1：99G，journal盘，GPT格式，分成3个分区，不需要格式化，用于三个data盘的journal进程安装
• sdb:data盘，无需分区
• sdc:data盘，无需分区
• sdd:data盘，无需分区
• 最终结果是：

NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   40G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   39G  0 part 
├─centos-root 253:0    0   37G  0 lvm  /
└─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0  200G  0 disk 
sdc               8:32   0  200G  0 disk 
sdd               8:48   0  200G  0 disk 
sr0              11:0    1 1024M  0 rom  
nvme0n1         259:0    0   99G  0 disk 
├─nvme0n1p1     259:1    0   33G  0 part 
├─nvme0n1p2     259:2    0   33G  0 part 
└─nvme0n1p3     259:3    0   33G  0 part

网络

• 由于资源限制，使用一个网络

配置阿里云的yum源

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo<br />
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum clean all
yum makecache

配置ceph M版的阿里源

yum install -y https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/ceph-release-1-1.el7.noarch.rpm

生成缓存

yum clean all
yum makecache

安装时间同步服务，本文使用chrony

安装

yum install -y chrony

编辑配置文件

vim /etc/chrony.conf
    server ntp1.aliyun.com iburst

设置开机自启动并启动服务

systemctl enable chronyd.service
systemctl start chronyd.service

验证

chronyc sources

配置hosts

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.10.50 ceph-node1
192.168.10.51 ceph-node2 
192.168.10.52 ceph-node3

关闭防火墙

systemctl disable firewalld
systemctl stop firewalld

关闭selinux

setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

节点个性化配置

命名各节点

各节点上依次执行：

hostnamectl set-hostname --static ceph-node1
hostnamectl set-hostname --static ceph-node2
hostnamectl set-hostname --static ceph-node3

集群配置

配置免密登录

在node1上生产key文件：

ssh-keygen

将key文件同步到各节点，在各节点上对应执行如下命令：

ssh-copy-id root@ceph-node1
ssh-copy-id root@ceph-node2
ssh-copy-id root@ceph-node3

安装pytho环境

yum install -y python2-pip deltarpm

安装ceph-deploy

yum install -y ceph-deploy

查看ceph-deploy的版本,应该是2.0.1

ceph-deploy --version

出错处理

如果在某些地方碰到麻烦，想从头再来，可以用下列命令清除配置：

ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy purgedata ceph-node1 ceph-node2 ceph-node3
ceph-deploy forgetkeys

用下列命令可以连 Ceph 安装包一起清除：

ceph-deploy purge {ceph-node} [{ceph-node}]
例如：
ceph-deploy purge ceph-node1 ceph-node2 ceph-node3
ceph-deploy forgetkeys

创建集群配置文件路径

mkdir cephcluster
cd cephcluster
pwd
    /root/cephcluster

创建集群

ceph-deploy new ceph-node1 ceph-node2 ceph-node3

执行完成以后，将生成下面三个文件：

-rw-r--r-- 1 root root  253 Jun  2 18:47 ceph.conf
-rw-r--r-- 1 root root 5150 Jun  2 18:47 ceph-deploy-ceph.log
-rw------- 1 root root   73 Jun  2 18:47 ceph.mon.keyring

添加配置：

public network = 192.168.10.0/24
mon clock drift allowed = 2
mon clock drift warn backoff = 30
max open files = 131072
[mon]
#为了能让后面将已经创建的存储池删除，添加该项配置
mon allow pool delete = true
[OSD]
osd mkfs type = xfs
filestore max sync interval = 15
filestore min sync interval = 10
[CLIENT]
rbd cache = true

在集群机器上安装ceph

ceph-deploy install --no-adjust-repos --release mimic ceph-node1 ceph-node2 ceph-node3
#假如我们没有禁用自动调整源，而使用了官方源，有可能上面的命令会各种问题。
#此时我们可以在各节点上执行yum install -y ceph ceph-radosgw替换，有时候由于网络各种问题，该方法更有效

配置初始 monitor(s)、并收集所有密钥

ceph-deploy mon create-initial

同步配置文件和key文件到各节点：

ceph-deploy admin ceph-node1 ceph-node2 ceph-node3

在三个节点上创建journal和osd

#filestore
for node in ceph-node1 ceph-node2 ceph-node3;do ceph-deploy osd create --filestore --data /dev/sdb --journal /dev/nvme0n1p1 $node;ceph-deploy osd create --filestore --data /dev/sdc --journal /dev/nvme0n1p2 $node;ceph-deploy osd create --filestore --data /dev/sdd --journal /dev/nvme0n1p3 $node;done;
#bluestore：当部署bluestore的时候，不需要journal分区，只需要指定要初始化的磁盘就行
for node in ceph-node1 ceph-node2 ceph-node3;do ceph-deploy osd create  --data /dev/sdb  $node;ceph-deploy osd create --data /dev/sdc $node;done;

如果原来的磁盘上有分区或者有数据的话，可以用以下命令清理磁盘：

ceph-deploy disk zap {osd-server-name} {disk-name}

比如，清理ceph-node01的sdb

ceph-deploy disk zap ceph-node01 /dev/sdb

创建metadata server，防止后面用于文件服务器

ceph-deploy mds create ceph-node1

配置dashboard

#mgr创建的时候，如果指定多个节点，后期会发生选举的问题，但是有高可用的功效。如果只指定一个节点，会存在单节点分享
ceph-deploy mgr create ceph-node1 ceph-node2 ceph-node3
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard set-login-credentials admin admin
ceph mgr services
    {
        "dashboard": "https://ceph-node1:8443/"
    }