kolla-ansible部署容器ceph

kolla是从openstack孵化出的一个项目，kolla项目能够制做镜像包括openstack、ceph等容器镜像，

ansible是自动化部署工具，执行playbook中的任务。

kolla-ansible是容器部署工具，部署openstack和ceph；kolla-ansible部署的容器镜像能够是kolla构建的，也能够是从docker register下载来的（本文部署使用kolla-ansible部署ceph采用从docker register下载镜像的方式部署）。

1、节点规划

主机名	ip	角色
localhost	172.16.134.43	master节点，安装kolla-ansible
node58	172.16.134.58	ceph节点，至少有一块osd使用的磁盘
node59	172.16.134.59	ceph节点，至少有一块osd使用的磁盘
node61	172.16.134.61	ceph节点，至少有一块osd使用的磁盘

2、搭建master节点

一、安装docker

yum install -y yum-utils device-mapper-persistent-data lvm2
yum install docker-ce -y

二、master和ceph节点之间解决互信

ssh-keygen

ssh-copy-id root@172.16.134.58

ssh-copy-id root@172.16.134.59

ssh-copy-id root@172.16.134.61

三、安装kolla-ansible依赖包

yum -y install epel-release
yum install -y python-pip ansible
yum install -y python-devel libffi-devel openssl-devel gcc python-setuptools git

 四、修改pip源:
mkdir -p ~/.pip
tee ~/.pip/pip.conf <<-'EOF'
[global]
trusted-host=mirrors.aliyun.com
index-url=http://mirrors.aliyun.com/pypi/simple/
EOF
 五、升级pip:
pip install -U pip

六、下载kolla-ansible源码并安装

git clone https://github.com/openstack/kolla-ansible.git -b stable/queens

cd kolla-ansilbe

pip install -r requirements.txt -r test-requirements.txt

pip install . -i http://mirrors.aliyun.com/pypi/simple/

 七、复制相关文件
cp -r etc/kolla /etc/kolla/
cp ansible/inventory/* /home

八、生成密码

 kolla-genpwd

九、设置docker

mkdir /etc/systemd/system/docker.service.d
编辑kolla.conf文件
vim /etc/systemd/system/docker.service.d/kolla.conf 
[Service]

MountFlags=shared
编辑daemon.json文件
vi /etc/docker/daemon.json
{
"registry-mirrors": ["https://ebu037tr.mirror.aliyuncs.com"],
"insecure-registries": ["docker-registries"]
}

注意：docker-registries为docker镜像服务器，在部署过程当中，kolla-ansible会从docker服务器上拉取所须要的镜像，该docker镜像服务器要有ceph各组件的镜像。

         在ceph节点上也要用docker login {docker-registries}，登录到docker服务器，不然在部署过程当中会出现认证错误。

十、重启docker服务

systemctl daemon-reload
systemctl restart docker

十一、修改/etc/hosts文件，填入ceph节点

3、ceph节点环境配置(在三个ceph节点上执行一样的操做)

一、禁用节点放火墙，安全策略等

[root@node58 ~]vim ~/init.sh
#!/bin/sh
sed -i 's/SELINUX=.*/SELINUX=Disabled/g' /etc/selinux/config
echo '' > /etc/resolv.conf
echo nameserver 114.114.114.114 >> /etc/resolv.conf
echo search novalocal >> /etc/resolv.conf
echo " net.ipv4.ip_forward = 1 ">> /etc/sysctl.conf&&sysctl -p
yum install vim wget -y

systemctl stop firewalld

systemctl disable firewalld
-----------------------------------------------------------
[root@node58 ~]# sh init.sh

二、节点配置时间同步

[root@node58 ~]# yum install -y chrony

[root@node58 ~]# vi /etc/chrony.conf
server 0.cn.pool.ntp.org iburst
server 1.cn.pool.ntp.org iburst
server 2.cn.pool.ntp.org iburst
server 3.cn.pool.ntp.org iburst

三、给ceph节点的磁盘打标签

[root@node58 ~]# parted /dev/sdb -s -- mklabel gpt mkpart KOLLA_CEPH_OSD_BOOTSTRAP 1 -1

4、部署ceph容器服务（在master节点执行）

一、修改kolla-ansible的配置文件

[root@node58 ~]# cat /etc/kolla/globals.yml|grep -v '^#'|grep -v '^$'
---
kolla_install_type: "binary"
openstack_release: "queens"
kolla_internal_vip_address: "ip of master"
docker_registry: "{docker-registries}"
docker_namespace: "queens/kolla"
docker_registry_username: "admin"
docker_registry_password: "Harbor12345"
network_interface: "ens33"
enable_ceph: "yes"
enable_haproxy: "no"
enable_keystone: "no"
enable_glance: "no"
enable_neutron: "no"
enable_heat: "no"
enable_nova: "no"
enable_horizon: "no"
ceph_pool_type: "replicated"

注意：/etc/kolla/globals.yml文件会重载/usr/share/kolla-ansible/ansible/group_vars/all.yml文件，不须要安装的服务在all.yml中改为“no”

二、修改ansible的inventory文件

在[storage]下填入ceph节点的主机名，把其他section清空

六、部署ceph节点环境

kolla-ansible bootstrap-servers -i /home/multinode

七、检查和部署

kolla-ansible  prechecks  -i /home/multinode

kolla-ansible deploy -i /home/multinode

八、测试（在ceph节点执行）

docker exec ceph_mon ceph -s