部署GlusterFS分布式存储

1、介绍

GlusterFS是一个免费、全对称开源的的分布式文件系统。GlusterFS 具备强大的横向扩展能力，经过扩展可以支持数PB存储容量和处理数千客户端。

2、GlusterFS卷类型

1.distribute volume分布式卷(默认)

文件经过hash算法分布到全部brick上。此时volume的容量是全部brick的和；方便扩展空间，但无冗余保护。存取效率不高；受限于本地文件系统对单文件容量的限制，支持超大型文件系统有问题。

2.stripe volume 条带卷

文件分红数据块以round robin的方式将每一个chunk存储到1个brick，至关于raid0。单一超大容量文件可被分片，不受brick server本地文件系统的限制；分布式读写性能较高；无冗余1个server节点故障会致使全部数据丢失。

3.replica volume 复制卷

文件同步复制到多个brick，至关于文件级raid1，一个是存储一个是备份，具备容错能力；读性能提高，写性能降低；提高数据可靠性，但磁盘利用率低。

4.distribute replica volume 分布式复制卷

分布式卷与复制卷的组合，兼具二者的功能，单个文件在复制卷内数据保持副本，不一样文件在不一样复制卷之间进行哈希分布。

5.distribute stripe volume分布式条带卷

分布式卷与条带卷的组合，兼具二者的功能，单个文件在条带卷内数据以条带的形式存储，不一样文件在不一样条带卷之间进行哈希分布。

6.striped replicated volume条带镜像卷

条带与复制卷的组合，兼具二者的功能，单个文件以条带的形式存储在2个或多个复制集（replicated sets ），复制集内文件分片以副本的形式保存。

7.distribute stripe replica volume 混合卷

三种基本卷的复合卷，分布式卷，条带与复制卷的组合，兼具三者的功能

8.dispersed volume分散式（冗余式）

文件分片存储在各个brick上，但有部分硬盘用于冗余用途，数量能够指定,至关于文件级raid5。

3、集群部署

说明：目前为止stripe（条带）类型已经用的愈来愈少，全部没作记录

1.环境说明

关闭防火墙、关闭selinux，hostname能互相解析

2.软件安装

yum -y install centos-release-gluster
yum install -y glusterfs-server

3.启动服务

systemctl start glusterd
systemctl enable glusterd

4.建立集群

#在任意节点上执行操做，向集群中添加节点
gluster peer probe node2
gluster peer probe node3
#从集群中删除节点
gluster peer detach node3
#查看状态
gluster peer status
gluster pool list

5.分布式卷(Distribut)

#建立分布式卷
gluster volume create gv1_distribut node1:/data/br1 node2:/data/br1
#查看卷
gluster volume list
#启动卷
gluster volume start gv1_distribut
#查看卷信息
gluster volume info gv1_distribut

6.复制卷(Replica)

#建立复制卷
gluster volume create gv2_replica replica 2 node1:/data/br1 node2:/data/br1
#查看卷
gluster volume list
#启动卷
gluster volume start gv2_replica
#查看卷信息
gluster volume info gv2_replica

7.分布式复制卷(distribute replica)

#建立分布式复制卷
gluster volume create gv3_distribute_replica replica 2 node1:/data/br1 node2:/data/br1 node3:/data/br1 node4:/data/br1
#查看卷
gluster volume list
#启动卷
gluster volume start gv3_distribute_replica
#查看卷信息
gluster volume info gv3_distribute_replica

8.冗余卷(Disperse)

#建立冗余卷
gluster volume create gv4_disperse disperse 4 node1:/data/br1 node2:/data/br1 node3:/data/br1 node4:/data/br1
#查看卷
gluster volume list
#启动卷
gluster volume start gv4_disperse
#查看卷信息
gluster volume info

4、卷管理

1.卷扩容

#添加节点到集群
gluster peer probe node3
gluster peer probe node4
#扩展volume
gluster volume add-brick volume_name node3:/data/br1 node4:/data/br1
#平衡卷（不要在系统繁忙的时候执行）
gluster volume rebalance volume_name start
#查看平衡状态
gluster volume rebalance volume_name status

2.缩减卷

#移除brick
gluster volume remove-brick volume_name node3:/data/br1 node4:/data/br1 start
#查看移除状态
gluster volume remove-brick volume_name node3:/data/br1 node4:/data/br1 status
#提交
gluster volume remove-brick volume_name node3:/data/br1 node4:/data/br1 commit
#查看brick是否被移除
gluster volume info volume_name
#平衡卷
gluster volume rebalance volume_name start

3.替换卷

#添加节点
gluster peer probe node5
#替换brick
gluster volume replace-brick volume_name node1:/data/br1 node5:/data/br1 commit force
#查看卷状态
gluster volume info volume_name

4.删除卷

#中止卷
gluster volume stop volume_name
#删除卷
gluster volume delete volume_name
#查看卷
gluster volume info volume_name

5、客户端设置

1.软件安装

yum install -y glusterfs glusterfs-fuse

2.客户端挂载

mkdir /opt/gluster_disk{1..4}mount -t glusterfs node1:/gv1_distribut /opt/gluster_disk1mount -t glusterfs node1:/gv2_replica /opt/gluster_disk2mount -t glusterfs node1:/gv3_distribute_replica /opt/gluster_disk3mount -t glusterfs node1:/gv4_disperse /opt/gluster_disk4