Ceph学习笔记

0.准备条件:

三个ceph节点(node1,node2,node3)，一个客户端节点(client)分别安装NTP和ceph-deploy。

node1能够免密ssh到node2,node3.每一个ceph节点上挂3个空白磁盘。

1.启动三个ceph节点

apt install ceph-deploy -y

2.在node1上执行，建立一个ceph集群

mkdir /etc/ceph ; cd /etc/ceph
ceph-deploy new node1

3.使用ceph-deploy在全部节点上安装ceph

ceph-deploy install node1 node2 node3
#保证node1节点能够ssh免密登陆node1,node2,node3

4.在ceph-node1上建立一个Ceph monitor

ceph-depoly mon create-initial

5.建立Ceph OSD，sdb,sdc,sdd为节点上挂的空白磁盘:

#删除磁盘现有分区表和磁盘内容
ceph-deploy disk zap node1:sdb node1:sdc node1:sdd
#准备磁盘，先用XFS文件系统格式化磁盘，而后激活第一第二分区分别做为数据分区和日志分区
ceph-deploy osd create node1:sdb node1:sdc node1:sdd
#查看osd个数
ceph -s

6.在node1上将公共网络地址添加到/ect/ceph/ceph.conf

public network = 192.168.xx.xx/24

7.在node2和node3上建立Monitor:

ceph-deploy mon create node2
ceph-deploy mon create node3

8.在node2和node3上重复第五步

9.调整pg_num和pgp_num

ceph osd pool set rbd pg_num 256
ceph osd pool set rbd pgp_num 256

10.遇到

$ rbd map docker_test --name client.admin

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
In some cases useful info is found in syslog - try "dmesg | tail" or so.

缘由：
rbd镜像的一些特性，OS kernel并不支持，因此映射失败。咱们查看下该镜像支持了哪些特性。

$ rbd info docker_test

rbd image 'docker_test':
    size 4096 MB in 1024 objects
    order 22 (4096 kB objects)
    block_name_prefix: rbd_data.43702ae8944a
    format: 2
    features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
    flags:

能够看到特性feature一栏，因为我OS的kernel只支持layering，其余都不支持，因此须要把部分不支持的特性disable掉。

方法一：
直接diable这个rbd镜像的不支持的特性：

$ rbd feature disable docker_test exclusive-lock object-map fast-diff deep-flatten

方法二：
建立rbd镜像时就指明须要的特性，如：

$ rbd create --size 4096 docker_test --image-feature layering

方法三：
若是还想一劳永逸，那么就在执行建立rbd镜像命令的服务器中，修改Ceph配置文件/etc/ceph/ceph.conf，在global section下，增长

rbd_default_features = 1