Longhorn：实现Kubernetes集群的持久化存储

Longhorn项目是Rancher Labs推出的开源的基于云和容器部署的分布式块存储新方式。Longhorn遵循微服务的原则，利用容器将小型独立组件构建为分布式块存储，并使用容器编排来协调这些组件，造成弹性分布式系统。

自2017年4月Longhorn项目发布以来，人们对在Kubernetes集群上运行Longhorn存储就产生了极大的兴趣。近日，Longhorn v0.2版本发布了，它可支持任何Kubernetes集群的持久化存储实现！

Why Longhorn

现在，基于云和容器的部署规模日益扩大，分布式块存储系统也正变得愈来愈复杂，单个存储控制器上的volume数量在不断增长。2000年代初，存储控制器上的volume数量只有几十个，但现代云环境却须要数万到数百万的分布式块存储卷。存储控制器变成了高度复杂的分布式系统。

分布式块存储自己比其余形式的分布式存储（如文件系统）更简单。不管系统中有多少volume，每一个volume只能由单个主机进行装载。正因如此，咱们设想，是否能够将大型块存储控制器分割成多个较小的存储控制器？若想要如此分割，咱们须要保证这些volume仍然是从公共磁盘池构建的，而且咱们须要有办法来编排这些存储控制器，让它们能够协同工做。

为了将这一想法发挥到极限，咱们建立了Longhorn项目。这是一个咱们认为值得探索的方向，每一个控制器上只有一个volume，这将大大简化存储控制器的设计。由于控制器软件的故障域仅限于单个volume，因此控制器若崩溃，也只会影响一个volume。

Longhorn充分利用了近年来关于如何编排大量的容器和虚拟机的核心技术。例如，Longhorn并无构建一个能够扩展到100,000个volume的高度复杂的控制器，而是出于让存储控制器简单轻便的考虑，建立了100,000个单独的控制器。而后，咱们能够利用像Swarm、Mesos和Kubernetes这样的最早进的编排系统来调度这些独立的控制器，共享一组磁盘中的资源，协同工做，造成一个弹性的分布式块存储系统。

Longhorn基于微服务的设计还有不少其余优点。由于每一个volume都有本身的控制器，在升级每一个volume的控制器和replica容器时，是不会致使IO操做明显的中断的。 Longhorn能够建立一个长期运行的工做来编排全部live volume的升级，同时确保不会中断系统正在进行的操做。为确保升级不会致使意外的问题，Longhorn能够选择升级一小部分volume，并在升级过程当中出现问题时回滚到旧版本。这些作法在现代微服务应用中已获得普遍应用，但在存储系统中并不常见。咱们但愿Longhorn能够助力于微服务在存储领域的更多应用。

Longhorn功能概述

• 共享资源池：将本地磁盘或安装在计算或专用存储主机中的网络存储造成共享资源池。

• 为容器和虚拟机建立块存储卷：你能够指定volume的大小，IOPS的需求，以及你想要的跨主机的同步replica的数量（这里的主机是指那些为volume提供存储资源的主机）。replica是在底层磁盘或网络存储上精简配置的。

• 为每一个volume建立一个专用的存储控制器：这多是与大多数现有的分布式存储系统相比，Longhorn最具特点的功能。大多数现有的分布式存储系统一般采用复杂的控制器软件来服务于从数百到数百万不等的volume。但Longhorn不一样，每一个控制器上只有一个volume，Longhorn将每一个volume都转变成了微服务。

• 跨计算或存储主机调度多个replica：Longhorn会监测每个replica的健康情况，对问题进行维修，并在必要时从新生成replica。

• 以Docker容器的形式操做存储控制器和replica：例如，一个volume有三个replica，就意味着有四个容器。

• 为每一个volume分配多个存储“前端”：常见的前端包括Linux内核设备（映射到/ dev / longhorn）和iSCSI目标。 Linux内核设备适用于支持Docker volume，而iSCSI目标更适合支持QEMU / KVM和VMware volume。

• 建立volume快照和AWS EBS风格的备份：您能够为每一个volume建立多达254个快照，这些快照能够逐个备份到NFS或S3兼容的辅助存储中。只有更改的字节会在备份操做期间被复制和存储。

• 指定按期快照和备份操做的计划：您能够指定这些操做的频率（每小时，天天，每周，每个月和每一年）、执行这些操做的确切时间（例如，每一个星期日凌晨3:00），以及保留多少个循环快照和备份集。

支持任何Kubernetes集群的持久性存储

Longhorn v0.2 支持任何Kubernetes集群的持久性存储。一旦被部署到Kubernetes集群上，Longhorn会自动地将Kubernetes集群中全部节点上所有可用的本地存储聚为集群，产生复制的以及分布式的块存储。你能够在Longhorn volume上执行快照和备份操做，并将它们同步复制到多个节点上。

咱们已经移植了Longhorn Manager做为Kubernetes Controller。全部Longhorn状态都存储为Custom Resource Definitions（自定义资源定义，CRD）。Longhorn也不须要单独的etcd服务器。另外，Longhorn Manager公开了执行Longhorn volume操做和快照 / 备份操做的API，这些API将在Longhorn UI和Kubernetes Flexvolume驱动程序执行操做的过程当中使用。

运行下面的这条指令，就能够在你的Kubernetes集群上部署整个Longhorn存储系统：

kubectl create -f https://raw.githubusercontent.com/rancher/longhorn/v0.2/deploy/longhorn.yaml

若是你使用的是GKE，请参考这里：https://github.com/rancher/longhorn/blob/master/README.md#google-kubernetes-engine

部署以后，你能够在UI界面经过查看Kubernetes服务找到适合的IP：kubectl -n longhorn-system get svc

如今你可使用 100.200.200.123 或经过 <node_ip>:12345 访问UI。

Longhorn提供了Kubernetes的彻底集成。

你能够像下面这样经过Longhorn用卷备份建立一个pod：

apiVersion: v1
kind: Pod
metadata:
  name: volume-test
  namespace: default
spec:
  containers:
  - name: volume-test
    image: nginx:stable-alpine
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: voll
      mountPath: /data
    ports:
    - containerPort: 80
  volumes:
  - name: voll
    flexVolume:
      driver: "rancher.io/longhorn"
      fsType: "ext4"
      options:
        size: "2Gi"
        numberOfReplicas: "3"
        staleReplicaTimeout: "20"
        fromBackup: ""

Longhorn还支持动态的provisioner。好比，你能够在Kubernetes像这样定义一个StorageClass：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: longhorn
provisioner: rancher.io/longhorn
parameters:
  numberOfReplicas: "3"
  staleReplicaTimeout: "30"
  fromBackup: ""

接着建立一个PVC（PersistentVolumeClaim）并在Pod中使用它：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: longhorn-volv-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: longhorn
 resources:
    requests:
      storage: 2Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: volume-test
  namespace: default
spec:
  containers:
  - name: volume-test
    image: nginx:stable-alpine
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: volv
      mountPath: /data
    ports:
    - containerPort: 80
  volumes:
  - name: volv
    persistentVolumeClaim:
      claimName: longhorn-volv-pvc

一切开源

始终秉承开源理念的Rancher Labs，推出的Longhorn依然是100％的开源软件。您能够在GitHub上下载Longhorn： https://github.com/rancher/longhorn

直到今日，Longhorn依然在持续不断的优化更新之中。欢迎在GitHub上或Rancher微信群中为Rancher团队提供宝贵的意见与反馈❤️