基于滴滴云搭建 Lustre 分布式文件系统

1. Lustre简介

Lustre 是一个具有高可用、高性能、可扩展的分布式文件系统。主要由 Manage Server、Meta Data Server 和 Data Server 组成。详细介绍可以参见 Lustre 官网 。

2. Lustre 安装

2.1 Server 端安装

安装 e2fsprogs :

yum --nogpgcheck --disablerepo=* --enablerepo=e2fsprogs-wc \
install e2fsprogs

安装 epel 源:

yum -y install epel-release

安装以下软件包：

yum install asciidoc audit-libs-devel automake bc binutils-devel bison device-mapper-devel elfutils-devel elfutils-libelf-devel expect flex gcc gcc-c++ git glib2 glib2-devel hmaccalc keyutils-libs-devel krb5-devel ksh ibattr-devel libblkid-devel libselinux-devel libtool libuuid-devel libyaml-devel lsscsi make ncurses-devel net-snmp-devel net-tools newt-devel numactl-devel parted patchutils pciutils-devel perl-ExtUtils-Embed pesign python-devel redhat-rpm-config rpm-build systemd-devel tcl tcl-devel tk tk-devel wget xmlto yum-utils zlib-devel linux-firmware -y

删除以下软件包：

yum remove kernel-tools-libs-3.10.0-693.21.1.el7.x86_64 kernel-tools-3.10.0-693.21.1.el7.x86_64 kernel-headers-3.10.0-693.21.1.el7.x86_64 kernel-debug-devel-3.10.0-693.21.1.el7.x86_64 -y

由于不同机器上安装的软件包版本可能不同，请根据自己机器上的软件包的具体版本来删除。

安装 Lustre Kernel 相关的东西：

yum --nogpgcheck --disablerepo=base,extras,updates \
--enablerepo=lustre-server install \
kernel \
kernel-devel \
kernel-headers \
kernel-tools \
kernel-tools-libs \
kernel-tools-libs-devel

生成 HostID：

hid=`[ -f /etc/hostid ] && od -An -tx /etc/hostid|sed 's/ //g'`
[ "$hid" = `hostid` ] || genhostid

重启机器：

reboot

安装 Lustre 、ldiskfs、 ZFS 相关的内核模块：

yum --nogpgcheck --enablerepo=lustre-server install \
kmod-lustre-osd-ldiskfs \
lustre-dkms \
lustre-osd-ldiskfs-mount \
lustre-osd-zfs-mount \
lustre \
lustre-resource-agents \
zfs

加载相关的内核模块：

modprobe -v zfs
modprobe -v lustre

2.2 Client 端安装

安装 Kernel 包：

VER="3.10.0-693.2.2.el7"
yum install \
kernel-$VER \
kernel-devel-$VER \
kernel-headers-$VER \
kernel-abi-whitelists-$VER \
kernel-tools-$VER \
kernel-tools-libs-$VER \
kernel-tools-libs-devel-$VER

VER 是内核版本。

重启机器：

reboot

安装 Lustre Client 相关软件包：

yum --nogpgcheck --enablerepo=lustre-client-2.10.0 install \
kmod-lustre-client \
lustre-client

加载内核模块：

modprobe -v lustre

3. Lustre 部署

Lustre 主要由 MGS、MDS、OSS 和 Client 组成，本次部署方案为：

一个 MGS，两个 MDS，两个 OSS 和一个 Client 。

首先设置五台机器的 Host，每台的设置如下：

10.254.185.204 mds1
10.254.87.204 mds2
10.254.145.145 ost1
10.254.249.208 ost2
10.254.220.11 client1

在 mds1 上安装 MGS：

 mkfs.lustre --mgs --reformat /dev/vdb

同时在 mds1 上安装一个 MDS：

mkfs.lustre --mdt --fsname=lustrefs --index=0 --servicenode=mds1@tcp0 --servicenode=mds2@tcp0 --reformat /dev/vdc

其中 fsname 指定了文件系统名称，index 表示 MDT 的序号，每个 MDT 或者 OST 的序号必须唯一。这里我们在两台机器上部署 MDS, 使用的是 active\active 模式，需要指定 MDS 的 servicenode。

挂载 MGS 和 MDS :

mkdir -p /mnt/mgs
mkdir -p /mnt/mdt
mount -t lustre /dev/vdb /mnt/mgs
mount -t lustre /dev/vdc /mnt/mdt

在 mds2 上安装一个 MDS :

mkfs.lustre --mdt --fsname=lustrefs --index=1 --servicenode=mds1@tcp0 --servicenode=mds2@tcp0 --reformat /dev/vdc

挂载 MDS :

mkdir -p /mnt/mdt
mount -t lustre /dev/vdc /mnt/mdt

在 ost1 和 ost2 上分别创建一个 OSS :

mkfs.lustre --fsname=lustrefs --ost --reformat --index=0 --servicenode=ost1@tcp0 --servicenode=ost2@tcp0 --mgsnode=mds1@tcp0 /dev/vdb

注意，在 ost2 上创建时需要指定 index 的值为 1。

在两台机器上分别挂载：

mkdir -p /mnt/ost
mount -t lustre /dev/vdb /mnt/ost

最后在 client1 上挂载我们创建的 Lustrefs：

mount -t lustre  mds1@tcp0:mds2@tcp0:/lustrefs /mnt/

查看是否挂载成功：

[root@client1 mnt]# df -ht lustre
文件系统                                        容量  已用  可用 已用% 挂载点
10.254.185.204@tcp:10.254.87.204@tcp:/lustrefs   20G   66M   19G    1% /mnt

可以看到成功挂载了 Lustrefs。