GlusterFS的一次节点重置和恢复

因为机器故障，也是为了实验kubernetes master的可恢复性，把服务器10.1.1.201的操做系统重作了，（使用Ubuntu18.04LTS）安装了zfs和glusterfs，建立了/zpool本地存储卷。

一、故障现象

• 到10.1.1.202添加10.1.1.201到gluster集群，显示已经加入了。
• 在10.1.1.201添加10.1.1.201到gluster集群，显示失败，没法加入。
• 运行 sudo gluster peer status 检查状态，显示节点10.1.1.201始终是disconnected状态。
• 运行sudo gluster peer detach 10.1.1.201，显示该节点有bricks没法卸载。

看来，有点棘手。

二、恢复过程

解决思路：

• 根据有限的提示信息，须要先删除全部卷在10.1.1.201上的bricks，能够经过gluster volume status查看。
• 从集群中detach掉10.1.1.201节点。
• 从新添加10.1.1.201节点。
• 从新添加10.1.1.201节点上的bricks到卷中。

2.1 查看bricks

sudo gluster volume status

2.2 删除bricks

命令gluster remove-brick的格式为：

sudo gluster volume remove-brick <VOLNAME> [replica <COUNT>] <BRICK> ... <start|stop|status|commit|force> - remove brick from volume <VOLNAME>

操做以下：

sudo gluster volume remove-brick gvz00 10.1.1.201:/zpool/gvz00

按照上述方法，删除掉全部10.1.1.201节点的brick。

• 注意：若是该节点上的数据有用，请提早备份。

2.3 删除节点

使用peer detach命令，格式以下：

sudo gluster peer detach { <HOSTNAME> | <IP-address> } [force] - detach peer specified by <HOSTNAME>

操做以下：

sudo gluster peer detach 10.1.1.201

2.4 添加节点

使用peer probe命令，格式以下：

sudo gluster peer probe { <HOSTNAME> | <IP-address> } - probe peer specified by <HOSTNAME>

2.5 添加brick

sudo gluster volume add-brick gvz00 10.1.1.201:/zpool/gvz00

2.6 查看节点状态

sudo gluster peer status

2.7 查看卷的状态

sudo gluster volume status

完毕。

更多参考：

• GlusterFS的再次节点重置和恢复
• GlusterFS强制删除节点
• 分布式存储系统GlusterFS最新版本安装
• 安装 GlusterFS - 快速开始
• GlusterFS-动态卷快速应用
• 向分布式存储系统的迁移-使用ZFS/Gluster
• Kubernetes中挂载GlusterFS的volume