Proxmox VE6.0.4最新版集群搭建实录

镜像下载地址：https://www.proxmox.com/en/downloads
安装过程图解：
一、

二、

三、

四、

五、

六、

七、

八、

九、浏览器WEB登录控制台一览

ssh登录上去查看下版本:

这里咱们依然建立三个结点的集群（PVE1-PVE3,192.168.26.210-212)其它结点安装略配置方法同样。
依然要更新配置下源及系统（看似相同注意版本差别）
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
apt update && apt dist-upgrade

若是要上传ISO镜，默认的位置展现一下：

开始建立pve集群：
pve1上执行：
pvecm create bd-data-center

pve2上执行：
root@pve2:~# pvecm add 192.168.26.210

注意须要输入密码进行通讯认证。
一样PVE3上执行:
root@pve3:~# pvecm add 192.168.26.210

查看下此时集群状态：任一结点上执行效果同样（展现两个结点上执行的效果）


登录WEB控制台查看下此时效果：

接着安装CEPH存储（三个结点分别安装）



初始化ceph集群网段：pveceph init --network 192.168.26.0/22

此时若命令查看CEPH状态会报错：pveceph status

各结点建立ceph集群存储Mon监控：
pveceph createmon

root@pve2:~# pveceph createmon

root@pve3:~# pveceph createmon

此时查看CEPH状态：

Ansible看下各结点吧，其实都同样的。

建立mgr三个结点都须要执行
pveceph createmgr #此结点提示已经存在



查看WEB控制台此时集群状态:


Creating Ceph OSDs
建立Ceph OSDs 存储（三个结点执行一样操做）

root@pve1:~# pveceph createosd /dev/sdb

在PVE1上执行后立刻看下WEB控制台看下此时状态变化状况


PVE1上磁盘和配置信息变化状况

一样其它两个结点执行
root@pve2:~# pveceph createosd /dev/sdb
root@pve3:~#pveceph createosd /dev/sdb
建立ceph集群存储资源池ceph osd pool create [资源池名称] 128 128
root@pve1:~# ceph osd pool create datacenter 128 128



#添加RBD集群存储

#查看rbd集群存储配置信息(集群任一结点查看都同样）

root@pve1:~# cat /etc/pve/storage.cfg
建立前的效果：


建立后的效果：

添加资源池：dbdata,iscpool,idcpool

HA群组建立：ISCVM,IDCVM


建立虚拟服务器：

其中遇到的报错解决方法：
root@pve1:~# ceph health detail

报错解决方法：ceph osd pool application enable datacenter rbd

高可用状态下不能进行克隆操做，不然会出错，出现虚拟机锁住，且没法直接删除的现象。

没法删除：
用命令解锁以后便可删除虚拟机。

root@pve2:~# qm destroy 101
VM is locked (clone)
root@pve2:~# qm unlock 101
root@pve2:~# qm destroy 101
Removing image: 1% complete...
Removing image: 2% complete...

移出高可用状态，再进行克隆操做：