容器云平台No.6~企业级分布式存储Ceph
简介
ceph做为一个统一的分布式存储系统，提供了高性能，高可用性，高扩展性。ceph的统一体如今其能够提供文件系统、块存储、对象存储，在云环境中，一般采用ceph做为后端存储来保证数据的高可用性。
ceph发表于2004年，随后开源给社区。进过十几年发展，目前获得众多云厂商支持并普遍使用。好比openstack\kubernetes\虚拟机系统等。。。
架构图：
html
特色
- 高性能
采用CRUSH算法，数据分布均衡，并行度高。
容灾域的隔离，可以实现各种负载的副本放置规则，例如跨机房、机架感知等。
可以支持上千个存储节点的规模，支持TB到PB级的数据。 - 高可用性
副本数能够灵活控制。
支持故障域分隔，数据强一致性。
多种故障场景自动进行修复自愈。
没有单点故障，自动管理。 - 高可扩展性
去中心化。
扩展灵活。
随着节点增长而线性增加。
支持三种存储接口：块存储、文件存储、对象存储
支持自定义接口，支持多种语言驱动
部署方式
一、部署到裸机，做为独立的存储集群，为kubernetes提供存储服务（线上环境推荐）
二、部署到kubernetes集群之上，使用Rook管理ceph。Rook是一个能够提供Ceph集群管理能力的Operator，它使用CRD控制器来对ceph的资源进行部署和管理。相比部署到裸机。更接近kubernetes，可是属于一个新的东西，稳定性和故障处理难易程度有不肯定性，生成环境须要自行评估。
三、做为测试，本文就采用rook来部署ceph集群。
先看下架构图
从以上两张官方给的图能够看出，
Rook Operator是核心组件，它主要用来其中存储集群，并监控存储守护进程，确保存储集群的健康。
Rook Agent运行到每个存储节点，并配置了FlexVolume插件和Kubernetes 的存储卷控制框架（CSI）进行集成。
Rook 用 Kubernetes Pod 的形式，部署 Ceph的MON、OSD 以及 MGR守护进程。
四、部署ceph前，须要确保你的服务器有空闲的硬盘给ceph集群使用，通常是三块或者更多，若是只是测试最少一块。
以下所示，sdb就是给ceph用的node
fdisk -l Disk /dev/sdb: 107.4 GB, 107374182400 bytes, 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk /dev/sda: 107.4 GB, 107374182400 bytes, 209715200 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk label type: dos Disk identifier: 0x0001ce60 Device Boot Start End Blocks Id System /dev/sda1 * 2048 2099199 1048576 83 Linux /dev/sda2 2099200 209715199 103808000 8e Linux LVM
部署rook-ceph
安装root-operator,本文部署到命名空间:rook
一、部署common资源nginx
[root@k8s-master001 rook]# kubectl apply -f common.yaml namespace/rook created Warning: apiextensions.k8s.io/v1beta1 CustomResourceDefinition is deprecated in v1.16+, unavailable in v1.22+; use apiextensions.k8s.io/v1 CustomResourceDefinition 。。中间省略N行 clusterrolebinding.rbac.authorization.k8s.io/rbd-csi-provisioner-role created
二、部署operator资源算法
[root@k8s-master001 rook]# kubectl label node k8s-master003 app.storage=rook-ceph node/k8s-master003 labeled [root@k8s-master001 rook]# kubectl label node k8s-master002 app.storage=rook-ceph node/k8s-master002 labeled [root@k8s-master001 rook]# kubectl label node k8s-master001 app.storage=rook-ceph node/k8s-master001 labeled [root@k8s-master001 rook]# kubectl apply -f operator.yaml configmap/rook-ceph-operator-config created deployment.apps/rook-ceph-operator created [root@k8s-master001 rook]# kubectl get po -n rook NAME READY STATUS RESTARTS AGE rook-ceph-operator-87f875bbc-zz9lb 0/1 Pending 0 106s 再次查看，知道所有Pod为Running状态，表示安装成功 若是不是Runing状态，可使用例如：kubectl describe po rook-discover-5qrc6 -n rook 查看详情，通常状况多是镜像下载失败，若是是其余状况，请根据实际状况自行解决。。。 [root@k8s-master001 rook]# kubectl get po -n rook NAME READY STATUS RESTARTS AGE rook-ceph-operator-87f875bbc-zz9lb 1/1 Running 3 27m rook-discover-5qrc6 1/1 Running 0 3m42s rook-discover-fzfz5 1/1 Running 0 3m52s rook-discover-fzg7r 1/1 Running 0 20m
三、建立ceph集群
这里须要根据实际状况修改cluster.yaml文件
设置ceph存储节点，使用的硬盘，不然会把系统可用的磁盘都格式化了，这里须要设置以下后端
storage: # cluster level storage configuration and selection
useAllNodes: false
useAllDevices: false
#deviceFilter:
config:
# metadataDevice: "md0" # specify a non-rotational storage so ceph-volume will use it as block db device of bluestore.
# databaseSizeMB: "1024" # uncomment if the disks are smaller than 100 GB
# journalSizeMB: "1024" # uncomment if the disks are 20 GB or smaller
# osdsPerDevice: "1" # this value can be overridden at the node or device level
# encryptedDevice: "true" # the default value for this option is "false"
# Individual nodes and their config can be specified as well, but 'useAllNodes' above must be set to false. Then, only the named
# nodes below will be used as storage resources. Each node's 'name' field should match their 'kubernetes.io/hostname' label.
nodes:
- name: "10.26.25.20" #这个地方最好写hostname
devices:
- name: "sdb"
- name: "10.26.25.21"
devices:
- name: "sdb"
- name: "10.26.25.22"
devices:
- name: "sdb"
修改节点情和性，把ceph安装到固定标签的节点，这里使用app.storage=rook-ceph这个标签。api
placement:
all:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: app.storage
operator: In
values:
- rook-ceph
执行部署命令，这个环节须要下载ceph的一些镜像，根据网络状况，耗时可能会比较长。。。bash
[root@k8s-master001 rook]# kubectl apply -f cluster.yaml cephcluster.ceph.rook.io/rook-ceph created [root@k8s-master001 rook]# kubectl get po -n rook NAME READY STATUS RESTARTS AGE csi-cephfsplugin-2fsl9 3/3 Running 0 6m54s csi-cephfsplugin-4r5cg 3/3 Running 0 6m55s csi-cephfsplugin-htdjs 3/3 Running 0 6m54s csi-cephfsplugin-provisioner-7646976d94-9kfd6 5/5 Running 1 6m53s csi-cephfsplugin-provisioner-7646976d94-rbztr 5/5 Running 0 6m53s csi-rbdplugin-56jpj 3/3 Running 0 6m59s csi-rbdplugin-8h25h 3/3 Running 0 6m59s csi-rbdplugin-provisioner-55c946c8c-d25g4 6/6 Running 2 6m58s csi-rbdplugin-provisioner-55c946c8c-g77s8 6/6 Running 1 6m57s csi-rbdplugin-z4qpw 3/3 Running 0 6m59s rook-ceph-crashcollector-k8s-master001-6975bdf888-bpm7r 1/1 Running 0 2m6s rook-ceph-crashcollector-k8s-master002-746b76cd87-5xzz4 1/1 Running 0 3m18s rook-ceph-crashcollector-k8s-master003-5b54f4496-hntgb 1/1 Running 0 2m34s rook-ceph-mgr-a-58594cfb7d-l7wjg 1/1 Running 0 2m7s rook-ceph-mon-a-84b755686-c6cxr 1/1 Running 0 3m18s rook-ceph-mon-b-776469c655-d5jb7 1/1 Running 0 3m1s rook-ceph-mon-c-64648fbd69-n5jh4 1/1 Running 0 2m35s rook-ceph-operator-87f875bbc-cgvwm 1/1 Running 3 7m35s rook-discover-d9fpp 1/1 Running 0 7m31s rook-discover-kxmdx 1/1 Running 0 7m31s rook-discover-z9kzt 1/1 Running 0 7m31s
从以上输出能够看到，没有任何OSD的pod在运行。
查看rook-discover-kxmdx日志发现。可以找到硬盘sdb，可是没有对硬盘进程任何操做
，忽然想到ceph也是经过关键lvm来格式化硬盘的，而后查看系统，果真没有安装lvm2，果断重来吧：服务器
kubectl delete -f cluster.yaml kubectl delete -f operator.yaml kubectl delete -f common.yaml 在全部节点删除 rm -rf /var/lib/rook/*
安装lvm2网络
yum install -y lvm2
再次部署架构
[root@k8s-master001 rook]# kubectl get po -n rook NAME READY STATUS RESTARTS AGE csi-cephfsplugin-9l55s 3/3 Running 0 10m csi-cephfsplugin-czwlx 3/3 Running 0 10m csi-cephfsplugin-np7n7 3/3 Running 0 10m csi-cephfsplugin-provisioner-7646976d94-579qz 5/5 Running 3 10m csi-cephfsplugin-provisioner-7646976d94-v68wg 5/5 Running 0 10m csi-rbdplugin-9q82d 3/3 Running 0 10m csi-rbdplugin-l55zq 3/3 Running 0 10m csi-rbdplugin-provisioner-55c946c8c-ft4xl 6/6 Running 0 10m csi-rbdplugin-provisioner-55c946c8c-zkzh7 6/6 Running 1 10m csi-rbdplugin-wk7cw 3/3 Running 0 10m rook-ceph-crashcollector-k8s-master001-6c4c78b6cd-gcfvn 1/1 Running 0 6m17s rook-ceph-crashcollector-k8s-master002-746b76cd87-47k84 1/1 Running 0 9m7s rook-ceph-crashcollector-k8s-master003-5b54f4496-ts64m 1/1 Running 0 8m43s rook-ceph-mgr-a-66779c74c5-cnxbm 1/1 Running 0 8m16s rook-ceph-mon-a-5b7bcd77ff-sb4fz 1/1 Running 0 9m25s rook-ceph-mon-b-779c8467d4-bfd4g 1/1 Running 0 9m7s rook-ceph-mon-c-574fd97c79-v5qcd 1/1 Running 0 8m44s rook-ceph-operator-87f875bbc-z7rwn 1/1 Running 1 11m rook-ceph-osd-0-66775549dc-g2ttv 1/1 Running 0 6m11s rook-ceph-osd-2-6c5b4fc67-gtqjf 1/1 Running 0 6m20s rook-ceph-osd-prepare-k8s-master001-jbpgg 0/1 Completed 0 8m13s rook-ceph-osd-prepare-k8s-master002-vfvnp 0/1 Completed 0 8m12s rook-ceph-osd-prepare-k8s-master003-ffd6r 0/1 Completed 0 6m28s rook-discover-74qf2 1/1 Running 0 10m rook-discover-fk4wn 1/1 Running 0 10m rook-discover-fvbcf 1/1 Running 0 10m
终于看到rook-ceph-osd-*的Pod在运行了。osd若是没有运行，ceph是不能提供存储能力的。
四、建立ceph-dashboard
[root@k8s-master001 rook]# kubectl apply -f dashboard-external-https.yaml
service/rook-ceph-mgr-dashboard-external-https created
使用以下命令查询dashboard的admin密码
MGR_POD=`kubectl get pod -n rook | grep mgr | awk '{print $1}'`
kubectl -n rook-ceph logs $MGR_POD | grep password
五、安装ceph-tool工具,就是一个ceph客户端工具，可使用ceph命令管理ceph集群
[root@k8s-master001 rook]# kubectl apply -f toolbox.yaml
六、建立kubernetes集群存储类,默认reclaimPolicy:策略从Delete改为Retain，看本身需求改
[root@k8s-master001 rook]# kubectl apply -f storageclass.yaml cephblockpool.ceph.rook.io/k8spool created storageclass.storage.k8s.io/rook-ceph created
使用ceph为kubernetes提供存储
验证存储类是否可以使用，这里使用了nodeSelector,把pod指定到特定机器，也能够不设置
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: demo001
labels:
app: demo00
spec:
serviceName: demo001
replicas: 1
selector:
matchLabels:
app: demo001
template:
metadata:
labels:
app: demo001
spec:
terminationGracePeriodSeconds: 180
nodeSelector:
kubernetes.io/hostname: k8s-master001
containers:
- name: demo001
image: nginx
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
name: port
volumeMounts:
- name: volume
mountPath: /var/www/html
volumeClaimTemplates:
- metadata:
name: volume
spec:
accessModes: ["ReadWriteOnce"]
storageClassName: rook-ceph
resources:
requests:
storage: 1Gi
执行部署kubectl apply -f demo.yaml
[root@k8s-master001 rook]# kubectl get po NAME READY STATUS RESTARTS AGE demo001-0 1/1 Running 0 78s 查看可提供服务的存储类 [root@k8s-master001 rook]# kubectl get sc NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE rook-ceph rook.rbd.csi.ceph.com Retain Immediate true 8m15s 看已经建立的存储卷 [root@k8s-master001 rook]# kubectl get pv,pvc NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/pvc-e96e54cb-88bb-44b0-a07d-19cbb36fe739 1Gi RWO Retain Bound default/volume-demo001-0 rook-ceph 104s NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE persistentvolumeclaim/volume-demo001-0 Bound pvc-e96e54cb-88bb-44b0-a07d-19cbb36fe739 1Gi RWO rook-ceph 110s
从以上输出能够看出，kubernetes经过调用存储类建立了PV：pvc-e96e54cb-88bb-44b0-a07d-19cbb36fe739 ,并把它和PVC：volume-demo001-0绑定。
如今咱们进入nginx pod，查看挂载的磁盘状况
[root@k8s-master001 rook]# kubectl exec -ti demo001-0 /bin/sh kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead. # df -h Filesystem Size Used Avail Use% Mounted on overlay 50G 5.6G 45G 12% / /dev/rbd0 976M 2.6M 958M 1% /var/www/html
这里/dev/rbd0就是ceph集群为nginx提供的后端存储，大小为1G，在demo.yaml部署文件中指定。
避坑总结
一、由于ceph在穿件osd的时候须要用到系统工具lvm2,部署以前最好提早装好。
二、在cluster.yaml中指定硬盘信息是，最好使用hostname,或者保证DNS系统解析正确。
nodes:
- name: "10.26.25.20" #这个地方最好写hostname
devices:
- name: "sdb"
三、用来给ceph使用的硬盘不要手动建分区。
四、若是从新部署，记得再次部署以前先删除/var/lib/rook/目录，避免有老的集群信息残留。
五、生产环境最好使用标签，把ceph安装到指定的节点，同时避免安装到master节点。
注：文中图片来源于网络，若有侵权，请联系我及时删除。