kubernetes挂载ceph rbd和cephfs的方法

时间 2019-11-19

标签 kubernetes ceph rbd cephfs 方法繁體版

原文原文链接

目录node

k8s挂载Ceph RBD

k8s挂载Ceph RBD有两种方式，一种是传统的PV&PVC的方式，也就是说须要管理员先预先建立好相关PV和PVC，而后对应的deployment或者replication来挂载PVC使用。而在k8s 1.4之后，kubernetes提供了一种更加方便的动态建立PV的方式，即StorageClass。使用StorageClass时无需预先建立固定大小的PV来等待使用者建立PVC使用，而是直接建立PVC便可使用。api

须要说明的是，要想让k8s的node节点执行挂载ceph rbd的指令，须要在全部节点上安装ceph-common包。直接经过yum安装便可。bash

PV & PVC方式

建立secret

#获取管理key并进行64位编码
ceph auth get-key client.admin | base64

建立ceph-secret.yml文件，内容以下：app

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
data:
#Please note this value is base64 encoded.
# echo "keystring"|base64
  key: QVFDaWtERlpzODcwQWhBQTdxMWRGODBWOFZxMWNGNnZtNmJHVGc9PQo=

建立PV

建立test.pv.yml文件，内容以下：this

apiVersion: v1
kind: PersistentVolume
metadata:
  name: test-pv
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteOnce
  rbd:
    #ceph的monitor节点
    monitors:       
      - 10.5.10.117:6789
      - 10.5.10.236:6789
      - 10.5.10.227:6789
    #ceph的存储池名字
    pool: data 
    #在存储池里建立的image的名字
    image: data         
    user: admin
    secretRef:
      name: ceph-secret
    fsType: xfs
    readOnly: false
  persistentVolumeReclaimPolicy: Recycle

kubectl create -f test.pv.yml

建立PVC

建立test.pvc.yml文件，内容以下：编码

kind: PersistentVolumeClaim
apiVersion: extensions/v1beta1
metadata:
  name: test-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi

kubectl create -f test.pvc.yml

建立deployment挂载PVC

建立test.dm文件，内容以下：spa

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: test
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: test
    spec:
      containers:
      - name: test
        image: dk-reg.op.douyuyuba.com/op-base/openresty:1.9.15
        ports:
        - containerPort: 80
        volumeMounts:
          - mountPath: "/data"
            name: data
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: test-pvc

kubectl create -f test.dm.yml

StorageClass方式

建立secret

因为StorageClass要求ceph的secret type必须为kubernetes.io/rbd，因此在上面PV & PVC方式中建立的secret没法使用，须要从新建立。以下：rest

# 其中key的部分为ceph原生的key，未使用base64从新编码
kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" --from-literal=key='AQCikDFZs870AhAA7q1dF80V8Vq1cF6vm6bGTg==' --namespace=kube-system
kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" --from-literal=key='AQCikDFZs870AhAA7q1dF80V8Vq1cF6vm6bGTg==' --namespace=default

建立StorageClass

建立test.sc.yml文件，内容以下：code

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: test-storageclass
provisioner: kubernetes.io/rbd
parameters:
  monitors: 192.168.1.11:6789,192.168.1.12:6789,192.168.1.13:6789
  # Ceph 客户端用户ID(非k8s的)
  adminId: admin
  adminSecretName: ceph-secret
  adminSecretNamespace: kube-system
  pool: data
  userId: admin
  userSecretName: ceph-secret

建立PVC

建立test.pvc.yml文件，内容以下：ci

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-sc-pvc
  annotations: 
    volume.beta.kubernetes.io/storage-class: test-storageclass
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi

kubectl create -f test.pvc.yml

至于挂载，与PV & PVC的方式一致，再也不重复说明

k8s挂载Cephfs

上面大体说明了使用k8s挂载ceph rbd块设备的方法。这里简单说下k8s挂载ceph 文件系统的方法。

首先secret能够直接与上面复用，不用再单首创建。也不须要再建立pv和pvc。直接在deployment中挂载便可，方法以下：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: test
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: test
    spec:
      containers:
      - name: test
        image: dk-reg.op.douyuyuba.com/op-base/openresty:1.9.15
        ports:
        - containerPort: 80
        volumeMounts:
          - mountPath: "/data"
            name: data
      volumes:
        - name: data
          cephfs:
            monitors:
              - 10.5.10.117:6789
              - 10.5.10.236:6789
              - 10.5.10.227:6789
            path: /data
            user: admin
            secretRef:
              name: ceph-secret