ZFS存储池zpool丢失恢复及Gluster卷自愈

现象

存储节点pods01的机器出现异常没法链接，重启。

恢复

• 重启后zpool没法访问，运行 df -h ，发现zpool不见了。
• 使用zdb查询发现全部的配置信息都在。查阅网络，使用zpool import能够恢复，但试了屡次，不成功。
• 而后运行 sudo mount -a，再运行 df -h ，发现 zpool 回来了。
• 再次重启机器后，运行正常，zpool能够访问。

zpool Import命令格式和参数：

import [-d dir] [-D]
import [-d dir | -c cachefile] [-F [-n]] <pool | id>
import [-o mntopts] [-o property=value] ... 
    [-d dir | -c cachefile] [-D] [-f] [-m] [-N] [-R root] [-F [-n]] -a
import [-o mntopts] [-o property=value] ... 
    [-d dir | -c cachefile] [-D] [-f] [-m] [-N] [-R root] [-F [-n]]
    <pool | id> [newpool]

单独运行import获得zpool状态：

supermap@pods01:/etc/netplan$ sudo zpool import
[sudo] supermap 的密码： 
   pool: zpool
     id: 5005088901231101042
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

	zpool       ONLINE
	  sda       ONLINE
	  sdb       ONLINE
	  sdc       ONLINE
	  sdd       ONLINE
	  sde       ONLINE
	  sdf       ONLINE
	  sdg       ONLINE
	  sdh       ONLINE

而后，运行 zpool import zpool来恢复zfs存储池（我这里的名称是zpool）。

结果

过完元旦后，再次开机，又没法开机了。

继续测试。

后续

从新启动，能够运行，登陆进去。

运行 df -h，没有/zpool。

运行 zpool import zpool 一天一晚上，进程没有结束（硬盘灯没有活动），只好ctrl+c强行终止。

从新建立zpool（注意：数据会丢失！），运行：

sudo zpool create zpool /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh -f

运行 df -h，/zpool出现。

恢复Gluster卷：

# 查看卷状态
gluster volume status

#移除节点的brick
gluster volume remove-brick zpool 10.1.1.193:/zpool/gvz00

#从新添加brick
gluster volume add-brick zpool 10.1.1.193:/zpool/gvz00

自動掛載：

# 建立挂载点目录
/home/supermap/gvz00

# 编辑/etc/fstab文件，加入
10.1.1.193:/gvz00 /home/supermap/gvz00 glusterfs _netdev,rw,acl 0 0

查看信息：

ls -l ~/gvz00

若是访问正常，恢复存储系统完毕，下一步将进行数据的恢复（若是使用的是卷类型复制数据集，将会自动启动healing自愈过程）。

参考

• Oracle Solaris ZFS 故障排除和池恢复，https://docs.oracle.com/cd/E19253-01/819-7065/6n91mt1gr/index.html
• ZFS 池损坏恢复，https://blog.csdn.net/dazuiba008/article/details/70799907
• GlusterFS的一次节点重置和恢复
• ZFS最佳实践指南
• 分布式存储系统GlusterFS最新版本安装
• Ubuntu上使用ZFS（Zettabyte File System）
• 提高ZFS性能的10个简便方法
• ZFS快速安装和性能测试
• 向分布式存储系统的迁移-使用ZFS/Gluster
• 解决 ZFS 存储设备问题
• 经过GlusterFS黏合多节点SSD剩余空间
• ZFS-自我恢复RAID