从0到1使用Kubernetes系列（六）：数据持久化实战

时间  2019-12-05
标签 使用 kubernetes 系列 数据 持久 实战 繁體版
原文   原文链接

本文是从0到1使用Kubernetes系列第六篇，上一篇《从0到1使用Kubernetes系列（五）：Kubernetes Scheduling》介绍了Kubernetes调度器如何进行资源调度，本文将为你们介绍几种经常使用储存类型。html

默认状况下Pod挂载在磁盘上的文件生命周期与Pod生命周期是一致的，若Pod出现崩溃的状况，kubelet 将会重启它，这将会形成Pod中的文件将丢失，由于Pod会以镜像最初的状态从新启动。在实际应用当中，开发者有不少时候须要将容器中的数据保留下来，好比在Kubernetes中部署了MySql，不能由于MySql容器挂掉重启而上面的数据所有丢失；其次，在 Pod 中同时运行多个容器时，这些容器之间可能须要共享文件。也有的时候，开发者须要预置配置文件，使其在容器中生效，例如自定义了mysql.cnf文件在MySql启动时就须要加载此配置文件。这些都将是今天将要实战解决的问题。mysql

今天这篇文将讲解下面几种经常使用存储类型：nginx

  • secret
  • configMap
  • emptyDir
  • hostPath
  • nfs
  • persistentVolumeClaim

SECRET

Secret对象容许您存储和管理敏感信息，例如密码，OAuth令牌和ssh密钥。将此类信息放入一个secret中能够更好地控制它的用途，并下降意外暴露的风险。git

▌使用场景github

鉴权配置文件挂载redis

▌使用示例sql

在CI中push构建好的镜像就能够将docker鉴权的config.json文件存入secret对象中，再挂载到CI的Pod中，从而进行权限认证。docker

  • 首先建立secret
$ kubectl create secret docker-registry docker-config  --docker-server=https://hub.docker.com --docker-username=username --docker-password=password
secret/docker-config created
复制代码
  • 新建docker-pod.yaml文件，粘贴如下信息：
apiVersion: v1
kind: Pod
metadata:
  name: docker
spec:
  containers:
  - name: docker
    image: docker
    command:
      - sleep
      - "3600"
    volumeMounts:
    - name: config
      mountPath: /root/.docker/
  volumes:
  - name: config
    secret:
      secretName: docker-config
      items:
      - key: .dockerconfigjson
        path: config.json
        mode: 0644
复制代码
  • Docker Pod挂载secret
$ kubectl apply -f docker-pod.yaml
pod/docker created
复制代码
  • 查看挂载效果
$ kubectl exec docker -- cat /root/.docker/config.json
{"auths":{"https://hub.docker.com":{"username":"username","password":"password","auth":"dXNlcm5hbWU6cGFzc3dvcmQ="}}}
复制代码
  • 清理环境
$ kubectl delete pod docker
$ kubectl delete secret docker-config
复制代码

ConfigMap

许多应用程序会从配置文件、命令行参数或环境变量中读取配置信息。这些配置信息须要与docker image解耦ConfigMap API给咱们提供了向容器中注入配置信息的机制，ConfigMap能够被用来保存单个属性，也能够用来保存整个配置文件。json

▌使用场景后端

配置信息文件挂载

▌使用示例

使用ConfigMap中的数据来配置Redis缓存

  • 建立example-redis-config.yaml文件，粘贴如下信息：
apiVersion: v1
kind: ConfigMap
metadata:
  name: example-redis-config
data:
  redis-config: |
    maxmemory 2b
    maxmemory-policy allkeys-lru
复制代码
  • 建立ConfigMap
$ kubectl apply -f example-redis-config.yaml
configmap/example-redis-config created
复制代码
  • 建立example-redis.yaml文件，粘贴如下信息：
apiVersion: v1
kind: Pod
metadata:
  name: redis
spec:
  containers:
  - name: redis
    image: kubernetes/redis:v1
    env:
    - name: MASTER
      value: "true"
    ports:
    - containerPort: 6379
    resources:
      limits:
        cpu: "0.1"
    volumeMounts:
    - mountPath: /redis-master-data
      name: data
    - mountPath: /redis-master
      name: config
  volumes:
    - name: data
      emptyDir: {}
    - name: config
      configMap:
        name: example-redis-config
        items:
        - key: redis-config
          path: redis.conf
复制代码
  • Redis Pod挂载ConfigMap测试
$ kubectl apply -f example-redis.yaml
pod/redis created
复制代码
  • 查看挂载效果
$ kubectl exec -it redis redis-cli
$ 127.0.0.1:6379> CONFIG GET maxmemory
1) "maxmemory"
2) "2097152"
$ 127.0.0.1:6379> CONFIG GET maxmemory-policy
1) "maxmemory-policy"
2) "allkeys-lru"
复制代码
  • 清理环境
$ kubectl delete pod redis
$ kubectl delete configmap example-redis-config
复制代码

EmptyDir

当使用emptyDir卷的Pod在节点建立时，会在该节点建立一个新的空目录，只要该Pod运行在该节点，该目录会一直存在，Pod内的全部容器能够将改目录挂载到不一样的挂载点，但均可以读写emptyDir内的文件。当Pod不论什么缘由被删除，emptyDir的数据都会永远被删除（一个Container Crash 并不会在该节点删除Pod，所以在Container crash时，数据不会丢失）。默认状况下，emptyDir支持任何类型的后端存储：disk、ssd、网络存储。也能够经过设置 emptyDir.medium 为Memory，kubernetes会默认mount一个tmpfs（RAM-backed filesystem），由于是RAM Backed,所以 tmpfs 一般很快。可是会在容器重启或者crash时，数据丢失。

▌使用场景

同一Pod内各容器共享存储

▌使用示例

在容器a中生成hello文件，经过容器b输出文件内容

  • 建立test-emptydir.yaml文件，粘贴如下信息：
apiVersion: v1
kind: Pod
metadata:
  name: test-emptydir
spec:
  containers:
  - image: alpine
    name: container-a
    command:
      - /bin/sh
    args:
      - -c
      - echo 'I am container-a' >> /cache-a/hello && sleep 3600
    volumeMounts:
    - mountPath: /cache-a
      name: cache-volume
  - image: alpine
    name: container-b
    command:
      - sleep
      - "3600"
    volumeMounts:
    - mountPath: /cache-b
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir: {}
复制代码
  • 建立Pod
kubectl apply -f test-emptydir.yaml
pod/test-emptydir created
复制代码
  • 测试
$ kubectl exec test-emptydir -c container-b -- cat /cache-b/hello
I am container-a
复制代码
  • 清理环境
$ kubectl delete pod test-emptydir
复制代码

HostPath

将宿主机对应目录直接挂载到运行在该节点的容器中。使用该类型的卷，须要注意如下几个方面：

  1. 使用同一个模板建立的Pod，因为不一样的节点有不一样的目录信息，可能会致使不一样的结果
  2. 若是kubernetes增长了已知资源的调度，该调度不会考虑hostPath使用的资源
  3. 若是宿主机目录上已经存在的目录，只能够被root能够写，因此容器须要root权限访问该目录，或者修改目录权限

▌使用场景

运行的容器须要访问宿主机的信息，好比Docker内部信息/var/lib/docker目录，容器内运行cadvisor，须要访问/dev/cgroups

▌使用示例

使用Docker socket binding模式在列出宿主机镜像列表。

  • 建立test-hostpath.yaml文件，粘贴如下信息：
apiVersion: v1
kind: Pod
metadata:
  name: test-hostpath
spec:
  containers:
  - image: docker
    name: test-hostpath
    command:
      - sleep
      - "3600"
    volumeMounts:
    - mountPath: /var/run/docker.sock
      name: docker-sock
  volumes:
  - name: docker-sock
    hostPath:
      path: /var/run/docker.sock
      type: Socket
复制代码
  • 建立test-hostpath Pod
$ kubectl apply -f test-hostpath.yaml
pod/test-hostpath created
复制代码
  • 测试是否成功
$ kubectl exec test-hostpath docker images
REPOSITORY      IMAGE ID        CREATED         SIZE
docker          639de9917ae1    13 days ago     171MB
...
复制代码

NFS存储卷

NFS 卷容许将现有的 NFS（网络文件系统）共享挂载到您的容器中。不像 emptyDir，当删除 Pod 时，nfs 卷的内容被保留，卷仅仅是被卸载。这意味着 nfs 卷能够预填充数据，而且能够在 pod 之间共享数据。 NFS 能够被多个写入者同时挂载。

  • 重要提示：您必须先拥有本身的 NFS 服务器而后才能使用它。

▌使用场景

不一样节点Pod使用统一nfs共享目录

▌使用示例

  • 建立test-nfs.yaml文件，粘贴如下信息：
apiVersion: apps/v1
kind: Deployment
metadata:
  name: test-nfs
spec:
  selector:
    matchLabels:
      app: store
  replicas: 2
  template:
    metadata:
      labels:
        app: store
    spec:
      volumes:
      - name: data
        nfs:
          server: nfs.server.com
          path: /
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - store
            topologyKey: "kubernetes.io/hostname"
      containers:
      - name: alpine
        image: alpine
        command:
          - sleep
          - "3600"
        volumeMounts:
        - mountPath: /data
          name: data
复制代码
  • 建立测试deployment
$ kubectl apply -f test-nfs.yaml
deployment/test-nfs created
复制代码
  • 查看pod运行状况
$ kubectl get po -o wide
NAME                        READY     STATUS    RESTARTS   AGE       IP              NODE      NOMINATED NODE
test-nfs-859ccfdf55-kkgxj   1/1       Running   0          1m        10.233.68.245   uat05     <none>
test-nfs-859ccfdf55-aewf8   1/1       Running   0          1m        10.233.67.209   uat06     <none>
复制代码
  • 进入Pod中进行测试
# 进入uat05节点的pod中
$ kubectl exec -it test-nfs-859ccfdf55-kkgxj sh
# 建立文件
$ echo "uat05" > /data/uat05
# 退出uat05节点的pod
$ edit
# 进入uat06节点的pod中
$ kubectl exec -it test-nfs-859ccfdf55-aewf8 sh
# 查看文件内容
$ cat /data/uat05
uat05
复制代码
  • 清理环境
$ kubectl delete deployment test-nfs
复制代码

PersistentVolumeClaim

上面全部例子中咱们都是直接将存储挂载到的pod中，那么在kubernetes中如何管理这些存储资源呢？这就是Persistent Volume和Persistent Volume Claims所提供的功能。

● PersistentVolume 子系统为用户和管理员提供了一个 API，该 API 将如何提供存储的细节抽象了出来。为此，咱们引入两个新的 API 资源：PersistentVolume 和 PersistentVolumeClaim。

  • PersistentVolume（PV）是由管理员设置的存储，它是群集的一部分。就像节点是集群中的资源同样，PV 也是集群中的资源。 PV 是 Volume 之类的卷插件，但具备独立于使用 PV 的 Pod 的生命周期。此 API 对象包含 Volume 的实现，即 NFS、iSCSI 或特定于云供应商的存储系统。
  • PersistentVolumeClaim（PVC）是用户存储的请求。它与 Pod 类似。Pod 消耗节点资源，PVC 消耗 PV 资源。Pod 能够请求特定级别的资源（CPU 和内存）。声明能够请求特定的大小和访问模式（例如，能够以读/写一次或 只读屡次模式挂载）。虽然 PersistentVolumeClaims 容许用户使用抽象存储资源，但用户须要具备不一样性质（例如性能）的 PersistentVolume 来解决不一样的问题。集群管理员须要可以提供各类各样的 PersistentVolume，这些PersistentVolume 的大小和访问模式能够各有不一样，但不须要向用户公开实现这些卷的细节。对于这些需求，StorageClass 资源能够实现。

● 在实际使用场景里，PV 的建立和使用一般不是同一我的。这里有一个典型的应用场景：管理员建立一个 PV 池，开发人员建立 Pod 和 PVC，PVC 里定义了Pod所需存储的大小和访问模式，而后 PVC 会到 PV 池里自动匹配最合适的 PV 给 Pod 使用。

▌使用示例

  • 建立PersistentVolume
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mypv
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: slow
  mountOptions:
    - hard
    - nfsvers=4.0
  nfs:
    path: /tmp
    server: 172.17.0.2
复制代码
  • 建立PersistentVolumeClaim
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: myclaim
spec:
  accessModes:
    - ReadWriteOnce
  volumeMode: Filesystem
  resources:
    requests:
      storage: 5Gi
  volumeName: mypv
复制代码
  • 建立Pod绑定PVC
kind: Pod
apiVersion: v1
metadata:
  name: mypod
spec:
  containers:
    - name: myfrontend
      image: nginx
      volumeMounts:
      - mountPath: "/var/www/html"
        name: mypd
  volumes:
    - name: mypd
      persistentVolumeClaim:
        claimName: myclaim
复制代码
  • 查看pod运行状况验证绑定结果
$ kubectl get po -o wide
NAME    READY     STATUS    RESTARTS   AGE       IP              NODE      NOMINATED NODE
mypod   1/1       Running   0          1m        10.233.68.249   uat05     <none>
$ kubectl exec -it mypod sh
$ ls /var/www/html
复制代码
  • 清理环境
$ kubectl delete pv mypv
$ kubectl delete pvc myclaim
$ kubectl delete po mypod
复制代码

总结

本次实战中使用了secret存储docker认证凭据，更好地控制它的用途，并下降意外暴露的风险。

使用configMap对redis进行缓存配置，这样即便redis容器挂掉重启configMap中的配置依然会生效。接着又使用emptyDir来使得同一Pod中多个容器的目录共享，在实际应用中开发者一般使用initContainers来进行预处理文件，而后经过emptyDir传递给Containers。而后再使用hostPath来访问宿主机的资源，当网路io达不到文件读写要求时，可考虑固定应用只运行在一个节点上而后使用hostPath来解决文件读写速度的要求。

NFS和PersistentVolumeClaim的例子实质上都是试容器挂载的nfs服务器共享目录，但这些资源通常都只掌握在了管理员手中，开发人员想要获取这部分资源那么就不是这么友好了，动态存储类（StorageClass）就能很好的解决此类问题。

更多关于Kubernetes系列的文章：

关于Choerodon猪齿鱼

Choerodon猪齿鱼是一个开源企业服务平台，基于Kubernetes的容器编排和管理能力，整合DevOps工具链、微服务和移动应用框架，来帮助企业实现敏捷化的应用交付和自动化的运营管理的开源平台，同时提供IoT、支付、数据、智能洞察、企业应用市场等业务组件，致力帮助企业聚焦于业务，加速数字化转型。

你们也能够经过如下社区途径了解猪齿鱼的最新动态、产品特性，以及参与社区贡献：

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程