从零开始安装Ceph分布式存储｜Ubuntu环境

版本信息

具体安装以前对操做系统作以下限制，其它版本的操做系统不保证可以安装成功。

操做系统：Ubuntu 14.04.3 Ceph版本号：Hammer V0.94.5

设备信息

本安装教程假设有4台服务器（或者虚拟机），1台做为管理节点，另外3台做为存储节点。固然，也能够用存储节点中的一台做为管理节点。具体地址和主机名称如图所示。

须要在各个服务器上添加解析，方法是打开hosts文件，添加以下内容：

192.168.1.100 ceph-u0-l0
192.168.1.101 ceph-u0-m0
192.168.1.102 ceph-u0-r0
192.168.1.50 admin
复制代码

安装ceph-deploy

ceph-deploy是Ceph的远程部署工具，能够在管理节点实现分布式部署。 1. 配置Ceph安装源

wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
复制代码

2. 将源信息加入repo，更新软件源，并按照ceph-deploy

echo deb http://ceph.com/debian-hammer/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
apt-get update
apt-get install ceph-deploy
复制代码

安装NTP 安装NTP，用于集群节点的时间同步。

apt-get install ntp
复制代码

确保SSH服务已被安装 可能须要安装SSH服务，若是已经安装则忽略该步骤。

sudo apt-get install openssh-server
复制代码

建立ceph部署帐户 在每一个存储节点上建立ceph帐户及ssh访问 每一个节点上建立ceph用户

sudo useradd -d /home/cephd -m cephd
sudo passwd cephd
复制代码

确保具备sudo权限

echo "cephd ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephd
sudo chmod 0440 /etc/sudoers.d/cephd
复制代码

配置无密码访问 配置管理节点能够实现对其它节点的无密码访问，在管理节点执行以下命令。

ssh-keygen
复制代码

全部提示采用默认配置，直接回车。

生成公钥/私钥对，并拷贝到其它节点

ssh-copy-id cephd@ceph-u0-m0
ssh-copy-id cephd@ceph-u0-r0
ssh-copy-id cephd@ceph-u0-l0
复制代码

ssh-copy-id 将本机的公钥复制到远程机器的authorized_keys文件中(~/.ssh/authorized_keys) 默认采用cephd用户，修改(新建)/root/.ssh/config文件，增长以下内容：

Host ceph-u0-l0
 Hostname ceph-u0-l0
 User cephd
Host ceph-u0-m0
 Hostname ceph-u0-m0
 User cephd
Host ceph-u0-r0
 Hostname ceph-u0-r0
 User cephd
复制代码

经过ssh命令测试一下，是否能够无密码访问。

ssh ceph-u0-m0
复制代码

建立集群

建立ceph集群

本集群部署状况，为ceph-u0-m0部署一个monitor节点，同时在ceph-u0-l0和ceph-u0-r0上各部署一个osd节点。

在管理节点的/root目录下执行：

mkdir my-cluster
cd my-cluster
复制代码

若是须要(新安装的系统一般不须要)，部署以前确保ceph每一个节点没有ceph数据包（先清空以前全部的ceph数据，若是是新装不用执行此步骤，若是是从新部署的话也执行下面的命令）

[root@ceph-deploy]# ceph-deploy purge ceph-deploy ceph-u0-m0 ceph-u0-l0 ceph-u0-r0
[root@ceph-deploy]# ceph-deploy purgedata ceph-deploy ceph-u0-m0 ceph-u0-l0 ceph-u0-r0
[root@ceph-deploy]# ceph-deploy forgetkeys
复制代码

若是是干净环境，直接执行以下命令，该命令在my-cluster文件夹生成集群必须的文件。

ceph-deploy new ceph-u0-l0
复制代码

修改ceph.conf配置文件

[global]
fsid = c70a17e3-f677-46cb-8744-b628592d69d6
mon_initial_members = ceph-u0-l0
mon_host = 192.168.32.2
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true
osd pool default size = 3
public network = 192.168.1.0/24
[osd]
osd journal size = 20000
复制代码

安装软件包

更改国内源 新部署的物理服务器缺乏源信息，在/etc/apt/source.list.d/ 下面新建文件aliyun.list，并添加以下内容：

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
复制代码

admin节点向各节点安装ceph

ceph-deploy install ceph-u0-l0 ceph-u0-m0 ceph-u0-r0 --repo-url=http://eu.Ceph.com/debian-hammer/ --gpg-url=http://eu.ceph.com/keys/release.asc
复制代码

添加初始监控节点并收集密钥

ceph-deploy mon create-initial
复制代码

此时，查看my-cluster目录多了下面几个文件

ceph.bootstrap-mds.keyring
ceph.bootstrap-osd.keyring
ceph.bootstrap-rgw.keyring
ceph.client.admin.keyring
复制代码

添加osd节点

OSD是存储数据的单元，新建完集群后须要添加OSD节点

ceph-deploy osd prepare ceph-u0-l0:sdb ceph-u0-m0:sdb ceph-u0-r0:sdb

ceph-deploy osd activate ceph-u0-l0:sdb1 ceph-u0-m0:sdb1 ceph-u0-r0:sdb1

复制ceph配置文件及密钥到mon、osd节点

ceph-deploy admin ceph-u0-l0 ceph-u0-m0 ceph-u0-r0
复制代码

确保有正确的ceph.client.admin.keyring权限

sudo chmod +r /etc/ceph/ceph.client.admin.keyring
复制代码

查看集群运行状态

ceph -s
复制代码

状态大体如图所示，根据实际配置略有不一样。

关注微信公众号，获取信息更及时： itworld123