MinIO 分布式集群搭建

分布式 Minio 可让你将多块硬盘（甚至在不一样的机器上）组成一个对象存储服务。因为硬盘分布在不一样的节点上，分布式 Minio 避免了单点故障。html

Minio 分布式模式能够搭建一个高可用的对象存储服务，你可使用这些存储设备，而不用考虑其真实物理位置。linux

（1）数据保护算法

分布式 Minio 采用纠删码（erasure code）来防范多个节点宕机和位衰减（bit rot）。安全

分布式 Minio 至少须要 4 个节点，使用分布式 Minio 就自动引入了纠删码功能。分布式

纠删码是一种恢复丢失和损坏数据的数学算法， Minio 采用 Reed-Solomon code 将对象拆分红 N/2 数据和 N/2 奇偶校验块。这就意味着若是是 12 块盘，一个对象会被分红 6 个数据块、6 个奇偶校验块，你能够丢失任意 6 块盘（无论其是存放的数据块仍是奇偶校验块），你仍能够从剩下的盘中的数据进行恢复。工具

纠删码的工做原理和 RAID 或者复制不一样，像 RAID6 能够在损失两块盘的状况下不丢数据，而 Minio 纠删码能够在丢失一半的盘的状况下，仍能够保证数据安全。并且 Minio 纠删码是做用在对象级别，能够一次恢复一个对象，而RAID 是做用在卷级别，数据恢复时间很长。 Minio 对每一个对象单独编码，存储服务一经部署，一般状况下是不须要更换硬盘或者修复。Minio 纠删码的设计目标是为了性能和尽量的使用硬件加速。性能

位衰减又被称为数据腐化 Data Rot、无声数据损坏 Silent Data Corruption ，是目前硬盘数据的一种严重数据丢失问题。硬盘上的数据可能会神不知鬼不觉就损坏了，也没有什么错误日志。正所谓明枪易躲，暗箭难防，这种背地里犯的错比硬盘直接故障还危险。因此 Minio 纠删码采用了高速 HighwayHash 基于哈希的校验和来防范位衰减。测试

（2）高可用编码

单机 Minio 服务存在单点故障，相反，若是是一个 N 节点的分布式 Minio ,只要有 N/2 节点在线，你的数据就是安全的。不过你须要至少有 N/2+1 个节点来建立新的对象。spa

例如，一个 8 节点的 Minio 集群，每一个节点一块盘，就算 4 个节点宕机，这个集群仍然是可读的，不过你须要 5 个节点才能写数据。

（3）限制

分布式 Minio 单租户存在最少 4 个盘最多 16 个盘的限制（受限于纠删码）。这种限制确保了 Minio 的简洁，同时仍拥有伸缩性。若是你须要搭建一个多租户环境，你能够轻松的使用编排工具（Kubernetes）来管理多个Minio实例。

注意，只要遵照分布式 Minio 的限制，你能够组合不一样的节点和每一个节点几块盘。好比，你可使用 2 个节点，每一个节点 4 块盘，也可使用 4 个节点，每一个节点两块盘，诸如此类。

（4）一致性
Minio 在分布式和单机模式下，全部读写操做都严格遵照 read-after-write 一致性模型。

搭建分布式集群

启动一个分布式 Minio 实例，你只须要把硬盘位置作为参数传给 minio server 命令便可，而后，你须要在全部其它节点运行一样的命令。

注意

分布式 Minio 里全部的节点须要有一样的 access 秘钥和 secret 秘钥，这样这些节点才能创建联接。为了实现这个，你须要在执行 minio server 命令以前，先将 access 秘钥和 secret 秘钥 export 成环境变量。
分布式 Minio 使用的磁盘里必须是干净的，里面没有数据。
下面示例里的 IP 仅供示例参考，你须要改为你真实用到的 IP 和文件夹路径。
分布式 Minio 里的节点时间差不能超过 3 秒，你可使用 NTP 来保证时间一致。
在 Windows 下运行分布式 Minio 处于实验阶段，不建议用于生产环境。

示例1:

启动分布式Minio实例，8个节点，每节点1块盘，须要在8个节点上都运行下面的命令。

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://192.168.1.11/export1 http://192.168.1.12/export2 \ http://192.168.1.13/export3 http://192.168.1.14/export4 \ http://192.168.1.15/export5 http://192.168.1.16/export6 \ http://192.168.1.17/export7 http://192.168.1.18/export8

示例2:

启动分布式Minio实例，4节点，每节点2块盘，须要在4个节点上都运行下面的命令。

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://192.168.1.11/export1 http://192.168.1.11/export2 \ http://192.168.1.12/export1 http://192.168.1.12/export2 \ http://192.168.1.13/export1 http://192.168.1.13/export2 \ http://192.168.1.14/export1 http://192.168.1.14/export2 \

实战部分

这次计划在61-64四台centOs机器上安装minio集群，均位于/opt/minio目录

（1）下载minio
mkdir /opt/minio
cd /opt/minio

wget https://dl.minio.io/server/minio/release/linux-amd64/minio

chmod +x minio

mkdir export1 export2

(2)编写start.sh脚本

将61下/opt/minio文件夹全部内容可经过scp命令复制到62-64的/opt/minio下

而后在61-64的机器上逐个执行start.sh脚本，大功告成！

为方便起见，编写批量启动脚本，仅在61的目录下编写cluster_start.sh

将62-64的ip存放在ip.txt文件内采用cat 逐行读取。

注意点：

1. accessKey大于3字符， secretKey必须大于8字符,不然启动不了，下图我将secretKey设置6位字符，而后启动

查看minio进程并无启动

查看minio.log

2. 配置的多台机器 secretKey accessKey必须彻底一致，不然会出现意想不到的错误,由于多台机器之间的信息同步就是经过这两个key进行，不然确定会认证失败

查看minio.log

3.当集群中的某个节点down了，会影响总体的使用，我手动将64的节点停掉

尝试在63及61上建立bucket，尝试失败，注意不要在kill64后当即测试，要稍等一下子，不然可能不会复现这个问题。我的猜想，多是64的状态同步须要发送心跳给至集群内的其余机器，这个须要一些时间。

再次启动64的服务后，再进行63 61的建立bucket ，就成功了，

再登陆 64查看，会同步到其余节点建立的bucket，再建立2112buckt，其余的节点也能同步到。

以上是本次安装的踩坑经历，希望能帮助一些人，若有疑问或有误，烦请指出，以避免误人。

原文出处：https://www.cnblogs.com/xifenglou/p/11988338.html