CentOS 7部署 Ceph分布式存储架构

1、概述

　　随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
　　ceph官方文档 http://docs.ceph.org.cn/
　　ceph中文开源社区 http://ceph.org.cn/

　　Ceph是一个开源的分布式文件系统。由于它还支持块存储、对象存储，因此很天然的被用作云计算框架openstack或cloudstack整个存储后端。固然也能够单独做为存储，例如部署一套集群做为对象存储、SAN存储、NAS存储等。

ceph支持
　　一、对象存储：即radosgw,兼容S3接口。经过rest api上传、下载文件。

　　二、文件系统：posix接口。能够将ceph集群看作一个共享文件系统挂载到本地。

　　三、块存储：即rbd。有kernel rbd和librbd两种使用方式。支持快照、克隆。至关于一块硬盘挂到本地，用法和用途和硬盘同样。好比在OpenStack项目里，Ceph的块设备存储能够对接OpenStack的后端存储

Ceph相比其它分布式存储有哪些优势？

　　一、统一存储
　　　　虽然ceph底层是一个分布式文件系统，但因为在上层开发了支持对象和块的接口。因此在开源存储软件中，可以一统江湖。至于能不能千秋万代，就不知了。

　　二、高扩展性
　　　　扩容方便、容量大。可以管理上千台服务器、EB级的容量。

　　三、可靠性强
　　　　支持多份强一致性副本，EC。副本可以垮主机、机架、机房、数据中心存放。因此安全可靠。存储节点能够自管理、自动修复。无单点故障，容错性强。

　　四、高性能
　　　　由于是多个副本，所以在读写操做时候可以作到高度并行化。理论上，节点越多，整个集群的IOPS和吞吐量越高。另一点ceph客户端读写数据直接与存储设备(osd) 交互。

Ceph各组件介绍：
　　•Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并经过检查其余OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少须要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你能够调整副本数）。
　　•Monitors:  Ceph Monitor维护着展现集群状态的各类图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变动的历史信息（称为 epoch ）。
　　•MDSs:  Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，能够在不对 Ceph 存储集群形成负担的前提下，执行诸如 ls、find 等基本命令。

2、Ceph实验集群部署

 1. 主机准备 (禁用selinux, 关闭防火墙)

　　xuegod67 　　 10.10.10.67 　　 admin,osd, mon   做为管理和监控节点
　　xuegod68 　　 10.10.10.68 　　 osd,mds
　　xuegod69 　　 10.10.10.69 　　 osd,mds
　　xuegod70 　　 10.10.10.70 　　 client

　　#xuegod67做管理. osd. mon节点;   xuegod68和69做osd mds;  xuegod70客户端
　　前三台服务器增长一块硬盘/dev/sdb实验, 建立目录并挂载到/var/local/osd{0,1,2}

[root@xuegod67 ~]# mkfs.xfs  /dev/sdb
[root@xuegod67 ~]# mkdir -p /var/local/osd0
[root@xuegod67 ~]# mount /dev/sdb  /var/local/osd0/
[root@xuegod68 ~]# mkfs.xfs  /dev/sdb
[root@xuegod68 ~]# mount /dev/sdb  /var/local/osd1/
[root@xuegod69 ~]# mkfs.xfs  /dev/sdb
[root@xuegod69 ~]# mount /dev/sdb  /var/local/osd2/

2. 编辑hosts文件

(规范系统主机名添加hosts文件实现集群主机名与主机名之间相互可以解析（host 文件添加主机名不要使用fqdn方式）可用hostnamectl set-hostname name设置
分别打开各节点的/etc/hosts文件，加入这四个节点ip与名称的对应关系
　　10.10.10.67 　　 xuegod67
　　10.10.10.68 　　 xuegod68
　　10.10.10.69 　　 xuegod69
　　10.10.10.70 　　 xuegod70
SSH免密码登陆
在管理节点使用ssh-keygen 生成ssh keys 发布到各节点

[root@xuegod67 ~]# ssh-keygen #全部的输入选项都直接回车生成。
 
[root@xuegod67 ~]# ssh-copy-id xuegod67
[root@xuegod67 ~]# ssh-copy-id xuegod68
[root@xuegod67 ~]# ssh-copy-id xuegod69
[root@xuegod67 ~]# ssh-copy-id xuegod70

3. 管理节点安装ceph-deploy工具

第一步：增长 yum配置文件（各个节点都须要增长yum源）

[root@xuegod67 ~]#vim /etc/yum.repos.d/ceph.repo
 
添加如下内容：(ceph国内163源)
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc
priority=1
 
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc
priority=1
 
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.163.com/ceph/keys/release.asc
priority=1
 
第二步：更新软件源并安装ceph-deploy 管理工具
[root@xuegod67 ~]# yum clean all && yum list
[root@xuegod67 ~]# yum -y install ceph-deploy

4.建立monitor服务

[root@xuegod67 ~]# mkdir /etc/ceph && cd /etc/ceph
[root@xuegod67 ceph]#  ceph-deploy new xuegod67    #mon安装在xuegod67节点
[root@xuegod67 ceph]# ls                                #生成配置文件在当前目录下
ceph.conf  ceph.log  ceph.mon.keyring
Ceph配置文件、一个monitor密钥环和一个日志文件

5.修改副本数

[root@xuegod67 ceph]# vim ceph.conf 配置文件的默认副本数从3改为2，这样只有两个osd也能达到active+clean状态，把下面这行加入到[global]段（可选配置）
[global]
fsid = 92f5581d-79d2-4c9f-a523-4965eedc846b
mon_initial_members = xuegod67
mon_host = 10.10.10.67
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size = 2

6.在全部节点安装ceph

(若是网络源安装失败，手工安装epel-release 而后安装yum –yinstall cep-release再yum –y install ceph ceph-radosgw)

[root@xuegod67 ceph]# ceph-deploy install xuegod67 xuegod68 xuegod69 xuegod70
安装ceph monitor
[root@xuegod67 ceph]# ceph-deploy mon create xuegod67
 
收集节点的keyring文件
[root@xuegod67 ceph]# ceph-deploy  gatherkeys xuegod67

7.部署osd服务

添加osd节点 (全部osd节点执行)

咱们实验准备时已经建立目录/var/local/osd{id}

8.建立激活osd

#建立osd 
[root@xuegod67 ceph]# ceph-deploy osd prepare xuegod67:/var/local/osd0 xuegod68:/var/local/osd1 xuegod69:/var/local/osd2
#激活osd 
[root@xuegod67 ceph]# ceph-deploy osd activate xuegod67:/var/local/osd0 xuegod68:/var/local/osd1 xuegod69:/var/local/osd2

若是报错

　　

解决：在各个节点上给/var/local/osd1/和/var/local/osd2/添加权限
以下：
　　chmod 777 -R /var/local/osd1/
　　chmod 777 -R /var/local/osd2/*

查看状态：
[root@xuegod67 ceph]# ceph-deploy osd list xuegod67 xuegod68 xuegod69

9.统一配置

（用ceph-deploy把配置文件和admin密钥拷贝到全部节点，这样每次执行Ceph命令行时就无需指定monitor地址和ceph.client.admin.keyring了）
[root@xuegod67 ceph]# ceph-deploy admin xuegod67 xuegod68 xuegod69
 
各节点修改ceph.client.admin.keyring权限：
[root@xuegod67 ceph]#chmod +r /etc/ceph/ceph.client.admin.keyring

10.查看osd状态

[root@xuegod67 ceph]# ceph health 或 ceph -s
HEALTH_OK

11.部署mds服务

[root@xuegod67 ceph]# ceph-deploy mds create xuegod68 xuegod69 #咱们MDS安装2台
[root@xuegod67 ceph]# ceph mds stat #查看状态

12.集群状态

[root@xuegod67 ceph]# ceph -s

以上基本上完成了ceph存储集群的搭建。

三 、建立ceph文件系统

[root@xuegod67 ceph]# ceph fs ls   #建立以前
No filesystems enabled
建立存储池
[root@xuegod67 ceph]# ceph osd pool create cephfs_data <pg_num> 
[root@xuegod67 ceph]# ceph osd pool create cephfs_metadata <pg_num>

其中：<pg_num> = 128 ,
关于建立存储池
肯定 pg_num 取值是强制性的，由于不能自动计算。下面是几个经常使用的值：
　　*少于 5 个 OSD 时可把 pg_num 设置为 128
　　*OSD 数量在 5 到 10 个时，可把 pg_num 设置为 512
　　*OSD 数量在 10 到 50 个时，可把 pg_num 设置为 4096
　　*OSD 数量大于 50 时，你得理解权衡方法、以及如何本身计算 pg_num 取值
　　*本身计算 pg_num 取值时可借助 pgcalc 工具
随着 OSD 数量的增长，正确的 pg_num 取值变得更加剧要，由于它显著地影响着集群的行为、以及出错时的数据持久性（即灾难性事件致使数据丢失的几率）。 

1. 建立文件系统

建立好存储池后，你就能够用 fs new 命令建立文件系统了

[root@xuegod67 ceph]# ceph fs new <fs_name> cephfs_metadata cephfs_data 
其中：<fs_name> = cephfs  可自定义
 
[root@xuegod67 ceph]# ceph fs ls              #查看建立后的cephfs
[root@xuegod67 ceph]# ceph mds stat          #查看mds节点状态
e6: 1/1/1  up  {0=xuegod69=up:active}, 1  up:standby
active是活跃的，另1个是处于热备份的状态

2.挂载Ceph文件系统

有不一样挂载方式

A.内核驱动挂载Ceph文件系统

[root@xuegod70 ceph]# mkdir /opt #建立挂载点
存储密钥（若是没有在管理节点使用ceph-deploy拷贝ceph配置文件）
cat /etc/ceph/ceph.client.admin.keyring
将key对应的值复制下来保存到文件：/etc/ceph/admin.secret中。
挂载
[root@xuegod70 ceph]# mount -t ceph 10.10.10.67:6789:/ /opt -o name=admin,secretfile=/etc/ceph/admin.secret
取消挂载
[root@xuegod70 ceph]# umount /opt

B.用户控件挂载Ceph文件系统

安装ceph-fuse
[root@xuegod70 ceph]# yum install -y ceph-fuse
挂载
[root@xuegod70 ceph]# ceph-fuse -m 10.10.10.67:6789 /opt
取消挂载
[root@xuegod70 ceph]# fusermount -u /opt

ceph在开源社区仍是比较热门的，可是更多的是应用于云计算的后端存储。因此大多数在生产环境中使用ceph的公司都会有专门的团队对ceph进行二次开发，ceph的运维难度也比较大。可是通过合理的优化以后，ceph的性能和稳定性都是值得期待的。

关于其余：
　　清理机器上的ceph相关配置：
　　中止全部进程： stop ceph-all
　　卸载全部ceph程序：ceph-deploy uninstall [{ceph-node}]
　　删除ceph相关的安装包：ceph-deploy purge {ceph-node} [{ceph-data}]
　　删除ceph相关的配置：ceph-deploy purgedata {ceph-node} [{ceph-data}]
　　删除key：ceph-deploy forgetkeys

　　卸载ceph-deploy管理：yum -y remove ceph-deploy