001入门级的超融合私有云开源解决方案Proxmox VE之规划部署

Proxmox VE 是什么？
Proxmox VE 是一个完整的企业虚拟化开源平台。借助内置的Web界面，您能够轻松管理VM和容器，软件定义的存储和网络，高可用性集群以及单个解决方案上的多个开箱即用工具。Proxmox VE 最大优点在于安装使用的方便以及web管理界面的丰富，还能够相对比较简单的实现桌面云。
从 Proxmox VE 5.x 版本开始，官方整合了分布式文件系统Ceph，并对其进行了改进。这样，就和OpenStack同样，存储方面集成实现了分布式存储，实现了计算、网络、存储一体化解决方案，即所谓的超融合。
Proxmox的主要特性，去中心化、超融合、高可用、开源低成本、易于实施管理，前面几个特性都和OpenStack同样，可是最后一点易于实施管理，OpenStack却作得不是特别好。
Proxmox的主要劣势，是这个开源产品只有一个厂商维护，叫作Proxmox Server Solutions 公司，可是只要产品足够稳定可靠，不用太多的定制化要求，可以拿来就用就行，只要足够方便好用，并且免费。若是须要更多更好更及时的技术支持，也能够直接购买这家公司的技术支持服务。

为何要使用 Proxmox VE？

1. Proxmox VE 适用于虚拟机数量在1000台如下的小型虚拟化或者私有云场景下。
2. Proxmox VE 支持各种存储，包括分布式存储 Ceph 和 Zfs，可以像 OpenStack 同样轻松的实现超融合。
3. 在使用分布式存储的状况下能够很方便低成本的实现虚拟机的 HA 以及自动动态迁移。
4. Proxmox VE 适用于中小企业固定工位的办公桌面云，轻松实现并管理使用。
5. 对于中小企业来讲，只须要采购硬件设备便可，软件几乎是免费的，这就极大的下降了企业的使用成本。

Proxmox VE 规划设计
网络规划

虚拟机集群网络拓扑图
网络方面须要管理网络，集群网络，存储网络，3个网络，须要强调的是，集群网路须要独立出来，由于集群网络对延时的要求很苛刻。若是有条件，每一个网络都作bond。bond类型的选择，集群网络直接使用active-backup，其余的最好使用LACP（802.3ad）链路聚合，可是这种方式须要在交换机侧作配置，两个交换机之间也要作级联，链路聚合的好处是一稳定，二带宽不浪费，三高可用 。
存储规划
存储方面，除了系统盘以外，每台物理机使用2块硬盘贡献出来做为Ceph存储池使用，1块硬盘做为本地LVM存储并挂载给镜像和备份目录使用，这样能够比较灵活，须要实现HA功能虚拟机能够放在Ceph存储池，LVM存储池主要存放模板镜像文件，也能够给其余虚拟机使用，LVM存储池的虚拟机在相应速度上理论上要比Ceph的要高。Ceph存储池使用3 mon，3副本。
硬件规划
3台物理机，每台物理机须要5个物理万兆网口，4块3TB硬盘，内存至少8 GB，推荐128 GB，CPU 核数至少4核，推荐24核。
4台交换机，4台万兆交换机为主，两两互备。

Proxmox VE 部署
模拟环境
宿主机系统版本：Windows 10 Professional
虚拟机软件版本：VMware Workstation 15
Proxmox VE 版本：Proxmox-VE 5.3.2
模拟硬件
第一台虚拟 PVE（为表述方便，如下“Proxmox VE”均用“PVE”代替），具体硬件配置以下：
CPU：4核
内存：6 GB
硬盘：4 块，其中硬盘方面1块硬盘为系统盘31G，2块30G的Ceph盘，1块32G的LVM盘。
网卡：2 块，1块网卡同时给集群和虚拟机使用（192.168.17.0/24网段），1块网卡做为ceph存储网络（192.168.3.0/24网段）使用。

PVE 部署

部署完毕，WEB 界面：
https://192.168.17.3:8006/
https://sanyuan.com:8006/

PVE 网络配置
系统安装过程当中配置了第一块网卡做为内部管理集群网络，网段是192.168.17.0/24 ，登录系统后能够发现这个地址是配置在网桥上的，网桥上搭一块网卡进行桥接，所以新建一个网桥并配置192.168.3.0/24网段的地址给它，搭另外一块网卡进行桥接，以下图：

注意：
第一块网卡设置了网关是192.168.17.2，这块网卡就不能设置网关了 。其实就是在主机上设置了默认网关，只能有一个。
增长完网桥以后，须要重启PVE节点生效配置。（网络更改都须要重启节点才能生效。）

PVE 取消订阅及更新源
更改成非订阅版，以下：
将/etc/apt/sources.list.d/pve-enterprise.list 文件内的惟一一条记录注释掉：
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade

消除“No valid subscription”提示的方法：
即，ssh登陆服务器后执行下面的指令：
sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service