Docker中的数据管理

时间 2020-02-22

标签 docker 数据管理栏目 Docker 繁體版

原文原文链接

默认状况下，在容器内建立的全部文件都存储在可写容器层上。这意味着：html

当该容器再也不存在时，数据将不会持久保存，而且若是另外一个进程须要该数据，则可能很难从容器中取出数据。
容器的可写层与运行容器的主机紧密耦合。您没法轻松地将数据移动到其余地方。
写入容器的可写层须要存储驱动程序来管理文件系统。存储驱动程序使用Linux内核提供联合文件系统。与使用直接写入主机文件系统的数据卷相比，这种额外的抽象下降了性能。

Docker为容器提供了两个选项来将文件存储在主机中，以便即便容器中止后文件也能够持久存储：卷和绑定挂载。若是您在Linux上运行Docker，也可使用tmpfs挂载。若是您在Windows上运行Docker，则还可使用命名管道。node

选择正确的方式挂载

不管您选择使用哪一种类型的安装，容器中的数据看起来都是相同的。它在容器的文件系统中显示为目录或单个文件。nginx

可视化卷、绑定挂载和tmpfs挂载之间的差别的一个简单方法是考虑数据在Docker主机上的位置。docker

卷存储在主机文件系统中，做为其一部分，由Docker管理（在Linux上，位于/var/lib/docker/volumes/）。非Docker进程不该修改文件系统的这一部分。卷是在Docker中持久保存数据的最佳方法。
绑定挂载能够存储在主机系统上的任何位置。它们甚至多是重要的系统文件或目录。 Docker主机或Docker容器上的非Docker进程能够随时对其进行修改。
tmpfs挂载仅存储在主机系统的内存中，而且永远不会写入主机系统的文件系统中。

挂载类型的更多细节

卷：由Docker建立和管理。您可使用docker volume create命令显式建立卷，或者Docker能够在容器或服务建立期间建立卷。建立卷时，它存储在Docker主机上的目录中。将卷装入容器时，此目录就是装入容器的目录。这相似于绑定挂载的工做方式，除了卷由Docker管理而且与主机的核心功能隔离。给定的卷能够同时装入多个容器中。当没有运行的容器使用卷时，该卷仍然对Docker可用，不会自动删除。您可使用docker volume prune来删除未使用的卷。挂载卷时，它多是命名的或匿名的。匿名卷首次安装到容器中时，不会为其指定显式名称，所以Docker为它们提供一个随机名称，该名称在给定Docker主机中保证是惟一的。除了名称以外，命名卷和匿名卷的行为也相同。卷还支持使用卷驱动程序，这使您能够将数据存储在远程主机或云提供商上。
绑定挂载：自Docker早期以来可用。与卷相比，绑定安装的功能有限。使用绑定安装时，会将主机上的文件或目录安装到容器中。该文件或目录由主机上的完整路径引用。该文件或目录不须要在Docker主机上已经存在。若是尚不存在，则按需建立。绑定挂载性能很是好，可是它们依赖于具备特定目录结构的主机文件系统。若是要开发新的Docker应用程序，请考虑使用命名卷。您不能使用Docker CLI命令直接管理绑定安装。使用绑定安装的好与坏的一个反作用是，您能够经过容器中运行的进程来更改主机文件系统，包括建立，修改或删除重要的系统文件或目录。这是一项强大的功能，可能会带来安全隐患，包括影响主机系统上的非Docker进程。
tmpfs挂载：tmpfs挂载不会持久化在磁盘上，不管是在Docker主机上仍是在容器内。容器在其生存期内可使用它来存储非持久状态或敏感信息。例如，在内部，群服务使用tmpfs挂载将机密挂载到服务的容器中。
命名管道：npipe安装可用于Docker主机与容器之间的通讯。常见用例是在容器内运行第三方工具，并使用命名管道链接到Docker Engine API。

绑定安装和卷均可以使用-v或--volume标志安装到容器中，可是二者的语法略有不一样。对于tmpfs挂载，可使用--tmpfs标志。可是，在Docker 17.06及更高版本中，建议将--mount标志用于容器和服务，用于绑定安装，卷或tmpfs安装，由于语法更清晰。ubuntu

卷的使用案例

卷是将数据持久保存在Docker容器和服务中的首选方法。卷的一些用例包括：安全

在多个运行中的容器之间共享数据。若是您未明确建立它，则将在第一次将其安装到容器中时建立该卷。当该容器中止或卸下时，该卷仍然存在。多个容器能够同时装载相同的卷（读写或只读）。仅在显式删除卷时才将它们删除。
不保证Docker主机具备给定的目录或文件结构时。卷可帮助您将Docker主机的配置与容器运行时解耦。
当您要将容器的数据存储在远程主机或云提供商上时，而不是在本地。
当您须要将数据从一个Docker主机备份，还原或迁移到另外一个Docker主机时，卷是一个更好的选择。您能够中止使用该卷的容器，而后备份该卷的目录（例如/var/lib/docker/volumes/<volume-name>）。

绑定安装的使用案例

一般，应尽量使用卷。绑定安装适用于如下类型的用例：bash

将配置文件从主机共享到容器。默认状况下，这是Docker经过将/etc/resolv.conf从主机挂载到每一个容器中来为容器提供DNS解析的方式。
在Docker主机上的开发环境和容器之间共享源代码或构建工件。例如，您能够将Maven 挂载到容器中target/目录，而且每次在Docker主机上构建Maven项目时，该容器均可以访问重建的工件。若是您以这种方式使用Docker进行开发，那么您的生产Dockerfile会将生产就绪的工件直接复制到映像中，而不是依赖于绑定安装。
当确保Docker主机的文件或目录结构与容器所需的绑定安装一致时。

tmpfs mounts的使用案例

tmpfs挂载最适用于您不但愿数据在主机或容器内持久存在的状况。当您的应用程序须要写入大量非持久状态数据时，这多是出于安全缘由或为了保护容器的性能。服务器

使用绑定装载或卷的技巧

若是使用绑定安装或卷，请牢记如下几点：app

若是将空卷装入存在文件或目录的容器中的目录中，则这些文件或目录将传播（复制）到该卷中。一样，若是启动一个容器并指定一个尚不存在的卷，则会为您建立一个空卷。这是预填充另外一个容器所需数据的好方法。
若是将绑定安装或非空卷安装到存在某些文件或目录的容器中的目录中，则这些文件或目录会被安装遮盖，就像您将文件保存到Linux主机上的/ mnt中同样，而后将USB驱动器安装到/ mnt中。在卸载USB驱动器以前，/ mnt的内容将被USB驱动器的内容遮盖。不会删除或更改被遮盖的文件，可是在装入绑定安装或卷时将没法访问这些文件。

卷的使用

卷是存储Docker容器生成和使用的数据的首选机制。绑定挂载依赖于主机的目录结构，而卷则彻底由Docker管理。与绑定装载相比，卷有几个优势：ssh

卷比绑定挂载更容易备份或迁移。
您可使用Docker CLI命令或Docker API来管理卷。
卷能够在Linux和Windows容器上工做。
多个容器之间能够更安全地共享卷。
卷驱动程序容许您在远程主机或云提供商上存储卷，以加密卷的内容或添加其余功能。
新卷的内容能够由容器预先填充。

此外，与将数据持久保存在容器的可写层中相比，卷一般是更好的选择，由于卷不会增长使用卷的容器的大小，而且卷的内容存在于给定容器的生命周期以外。

若是您的容器生成非持久状态数据，请考虑使用tmpfs挂载以免将数据永久存储在任何地方，并经过避免写入容器的可写层来提升容器的性能。

卷使用rprivate绑定传播，而且没法为卷配置绑定传播。

Choose the -v or --mount flag

最初，-v或--volume标志用于独立容器，而--mount标志用于群服务。可是，从Docker 17.06开始，您还能够将--mount与独立容器一块儿使用。一般，--mount更为明确和详细。最大的区别是-v语法在一个字段中将全部选项组合在一块儿，而--mount语法将它们分开。这是每一个标志的语法比较。

新用户应尝试使用--mount语法，该语法比--volume语法更简单。

若是须要指定卷驱动程序选项，则必须使用--mount。

-v或--volume：由三个字段组成，以冒号（:)分隔。这些字段必须以正确的顺序排列，而且每一个字段的含义不是当即显而易见的。
- 对于命名卷，第一个字段是卷的名称，在给定的主机上是惟一的。对于匿名卷，将省略第一个字段。
- 第二个字段是文件或目录挂载在容器中的路径。
- 第三个字段是可选的，它是一个用逗号分隔的选项列表，好比ro。下面讨论这些选项。
--mount：由多个键值对组成，这些对值之间用逗号分隔，每一个键对均由一个<key>=<value>元组组成。 --mount语法比-v或--volume更为冗长，可是键的顺序并不重要，而且标志的值更易于理解。
- 挂载的类型type，能够是bind、volume或tmpfs。本主题讨论卷，所以类型老是volume。
- 挂载的来源source。对于命名卷，这是卷的名称。对于匿名卷，将省略此字段。能够指定为source或src。
- destination将文件或目录在容器中的安装路径做为其值。能够指定为destination，dst或target。
- 若是存在readonly选项，则会致使绑定挂载以只读形式挂载到容器中。
- volume-opt选项能够屡次指定，它采用由选项名及其值组成的键-值对。

若是您的卷驱动程序接受逗号分隔的列表做为选项，则必须从外部CSV解析器中转义该值。要转义一个volume-opt，请用双引号（“）包围它，并用单引号（'）包围整个安装参数。例如，local驱动程序在o参数中接受安装选项做为逗号分隔的列表。本示例显示了转义列表的正确方法。

$ docker service create \
     --mount 'type=volume,src=<VOLUME-NAME>,dst=<CONTAINER-PATH>,volume-driver=local,volume-opt=type=nfs,volume-opt=device=<nfs-server>:<nfs-path>,"volume-opt=o=addr=<nfs-address>,vers=4,soft,timeo=180,bg,tcp,rw"'
    --name myservice \
    <IMAGE>
复制代码

下面的示例在可能的状况下同时显示--mount和-v语法，而且首先显示--mount。

`--mount`和`-v`行为的不一样点

与绑定挂载相反，全部卷选项均可用于--mount和-v标志。将卷与服务一块儿使用时，仅支持--mount。

建立和管理卷

与绑定挂载不一样，您能够建立和管理任何容器范围以外的卷。

建立卷：

$ docker volume create my-vol
复制代码

列出卷：

$ docker volume ls

local               my-vol
复制代码

检查卷：

$ docker volume inspect my-vol
[
    {
        "Driver": "local",
        "Labels": {},
        "Mountpoint": "/var/lib/docker/volumes/my-vol/_data",
        "Name": "my-vol",
        "Options": {},
        "Scope": "local"
    }
]
复制代码

删除卷：

$ docker volume rm my-vol
复制代码

启动带有卷的容器

若是您使用不存在的卷启动容器，则Docker将为您建立该卷。如下示例将卷myvol2安装到容器中的/app/中。下面的-v和--mount示例将产生相同的结果。除非在运行第一个卷以后删除devtest容器和myvol2卷，不然没法同时运行它们。

$ docker run -d \
  --name devtest \
  --mount source=myvol2,target=/app \
  nginx:latest
复制代码

$ docker run -d \
  --name devtest \
  -v myvol2:/app \
  nginx:latest
复制代码

使用docker inspect devtest命令验证卷是否正确的建立和挂载。看Mounts部分：

"Mounts": [
    {
        "Type": "volume",
        "Name": "myvol2",
        "Source": "/var/lib/docker/volumes/myvol2/_data",
        "Destination": "/app",
        "Driver": "local",
        "Mode": "",
        "RW": true,
        "Propagation": ""
    }
],
复制代码

这代表挂载是一个卷，它显示正确的源和目标，而且挂载是读写的。

中止容器并删除卷。注意:卷删除是一个单独的步骤。

$ docker container stop devtest

$ docker container rm devtest

$ docker volume rm myvol2
复制代码

启动挂载卷的服务

启动服务并定义卷时，每一个服务容器都使用其本身的本地卷。若是使用本地卷驱动程序，则全部容器都不能共享此数据，可是某些卷驱动程序确实支持共享存储。适用于AWS的Docker和适用于Azure的Docker均使用Cloudstor插件支持持久存储。

如下示例使用四个副本启动nginx服务，每一个副本使用一个名为myvol2的本地卷。

$ docker service create -d \
  --replicas=4 \
  --name devtest-service \
  --mount source=myvol2,target=/app \
  nginx:latest
复制代码

使用docker service ps devtest-service 验证服务是否在运行。

$ docker service ps devtest-service

ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE            ERROR               PORTS
4d7oz1j85wwn        devtest-service.1   nginx:latest 
复制代码

删除服务，它将中止全部任务:

$ docker service rm devtest-service
复制代码

删除服务不会删除该服务建立的任何卷。卷删除是一个单独的步骤。

服务的语法不一样点

docker 服务建立命令不支持-v或--volume选项，当要挂载卷到服务的容器中时，必须使用--mount.

使用容器填充卷

若是你像上述的那样启动一个容器来建立卷，容器在挂载点存在文件和目录（就像上述的/app/），文件的内容就会复制到卷中，而后，容器就能够挂载和使用卷了，其余使用该卷的容器也能访问预填充内容。

为了说明这一点，此示例启动了一个nginx容器，并使用容器的/usr/share/nginx/html目录的内容填充新的卷nginx-vol，Nginx在该目录中存储其默认HTML内容。

--mount 和 -v 的实例有一样的效果：

$ docker run -d \
  --name=nginxtest \
  --mount source=nginx-vol,destination=/usr/share/nginx/html \
  nginx:latest
复制代码

$ docker run -d \
  --name=nginxtest \
  -v nginx-vol:/usr/share/nginx/html \
  nginx:latest
复制代码

在运行这两个示例以后，运行如下命令来清理容器和卷。注意:卷删除是一个单独的步骤。

$ docker container stop nginxtest

$ docker container rm nginxtest

$ docker volume rm nginx-vol
复制代码

使用只读的卷

对于某些开发应用程序，容器须要写入绑定安装，以便将更改传播回Docker主机。在其余时候，容器仅须要对数据的读取访问权限。请记住，多个容器能够挂载相同的卷，而且能够同时对其中一些容器进行读写安装，而对其余容器则同时进行只读安装。

此示例修改了上面的示例，但经过在容器中的安装点以后将ro添加到（默认为空）选项列表中，将目录做为只读卷进行安装。若是存在多个选项，请用逗号分隔。

--mount 和 -v具备一样的效果：

$ docker run -d \
  --name=nginxtest \
  --mount source=nginx-vol,destination=/usr/share/nginx/html,readonly \
  nginx:latest
复制代码

$ docker run -d \
  --name=nginxtest \
  -v nginx-vol:/usr/share/nginx/html:ro \
  nginx:latest
复制代码

使用 docker inspect nginxtest 验证只读的挂载被正确的建立了。请看Mounts部分:

"Mounts": [
    {
        "Type": "volume",
        "Name": "nginx-vol",
        "Source": "/var/lib/docker/volumes/nginx-vol/_data",
        "Destination": "/usr/share/nginx/html",
        "Driver": "local",
        "Mode": "",
        "RW": false,
        "Propagation": ""
    }
],
复制代码

中止并删除容器，而后删除卷，卷的删除是一个独立的步骤：

$ docker container stop nginxtest

$ docker container rm nginxtest

$ docker volume rm nginx-vol
复制代码

在机器间共享数据

在构建容错应用程序时，您可能须要配置同一服务的多个副本，多个副本访问相同的文件。

开发应用程序时，有几种方法能够实现此目的。一种是向您的应用程序添加逻辑，以将文件存储在像Amazon S3这样的云对象存储系统上。另外一个方法是使用支持将文件写入外部存储系统（例如NFS或Amazon S3）的驱动程序来建立卷。

卷驱动程序使您能够从应用程序逻辑中抽象底层存储系统。例如，若是您的服务使用带有NFS驱动程序的卷，则能够更新服务以使用其余驱动程序（例如，将数据存储在云中），而无需更改应用程序逻辑。

使用卷驱动程序

使用docker volume create建立卷时，或者启动使用还没有建立的卷的容器时，能够指定卷驱动程序。如下示例使用vieux /sshfs卷驱动程序，首先在建立独立卷时使用，而后在启动建立新卷的容器时使用。

初始化设置

本示例假定您有两个节点，其中第一个是Docker主机，而且可使用SSH链接到第二个。

在Docker主机上，安装vieux/sshfs插件：

$ docker plugin install --grant-all-permissions vieux/sshfs
复制代码

使用卷驱动程序建立卷

此示例指定了SSH密码，可是若是两个主机都配置了共享密钥，则能够省略该密码。每一个卷驱动程序可能具备零个或多个可配置选项，每一个选项均使用-o标志指定。

$ docker volume create --driver vieux/sshfs \
  -o sshcmd=test@node2:/home/test \
  -o password=testpassword \
  sshvolume
复制代码

启动一个使用卷驱动程序建立卷的容器

此示例指定了SSH密码，可是若是两个主机都配置了共享密钥，则能够省略该密码。每一个卷驱动程序可能具备零个或多个可配置选项。若是卷驱动程序要求您传递选项，则必须使用--mount标志安装卷，而不是-v。

$ docker run -d \
  --name sshfs-container \
  --volume-driver vieux/sshfs \
  --mount src=sshvolume,target=/app,volume-opt=sshcmd=test@node2:/home/test,volume-opt=password=testpassword \
  nginx:latest
复制代码

建立一个建立NFS卷的服务

本示例说明了建立服务时如何建立NFS卷。本示例使用10.0.0.10做为NFS服务器，并使用/var/docker-nfs做为NFS服务器上的导出目录。请注意，指定的卷驱动程序是local。 nfs3

$ docker service create -d \
  --name nfs-service \
  --mount 'type=volume,source=nfsvolume,target=/app,volume-driver=local,volume-opt=type=nfs,volume-opt=device=:/var/docker-nfs,volume-opt=o=addr=10.0.0.10' \
  nginx:latest
复制代码

nfs4

docker service create -d \
    --name nfs-service \
    --mount 'type=volume,source=nfsvolume,target=/app,volume-driver=local,volume-opt=type=nfs,volume-opt=device=:/,"volume-opt=o=10.0.0.10,rw,nfsvers=4,async"' \
    nginx:latest
复制代码

备份，还原或迁移数据卷

卷对于备份，还原和迁移颇有用。使用--volumes-from标志来建立一个安装该卷的新容器。

备份容器

例如，建立一个名为dbstore的新容器：

$ docker run -v /dbdata --name dbstore ubuntu /bin/bash
复制代码

而后在下一个命令中，咱们：

启动一个新容器，并从dbstore容器装入卷
挂载一个本地主机目录做为/backup
传递一个命令，将dbdata卷的内容存储到咱们的/backup目录中的backup.tar文件中。

$ docker run --rm --volumes-from dbstore -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata
复制代码

当命令完成而且容器中止时，咱们剩下了dbdata卷的备份。

从备份中恢复容器

使用刚刚建立的备份，您能够将其还原到同一容器或在其余位置建立的另外一个容器。例如，建立一个名为dbstore2的新容器：

$ docker run -v /dbdata --name dbstore2 ubuntu /bin/bash
复制代码

而后将备份文件解压缩到新容器的数据卷中：

$ docker run --rm --volumes-from dbstore2 -v $(pwd):/backup ubuntu bash -c "cd /dbdata && tar xvf /backup/backup.tar --strip 1"
复制代码

您可使用首选工具使用上述技术来自动执行备份，迁移和还原测试。

删除卷

删除容器后，Docker数据卷仍然存在。有两种类型的卷须要考虑：

命名卷具备来自容器外部的特定来源，例如awesome:/bar。
匿名卷没有特定来源，所以在删除容器时，请指示Docker Engine守护程序将其删除。

删除匿名卷

威力自动删除匿名卷，使用--rm选项。例如，下面这个命令建立一个匿名卷/foo.当容器删除后，Docker Engine将会删除/foo卷，但不是awesome卷。

$ docker run --rm -v /foo -v awesome:/bar busybox top
复制代码

删除全部卷

要删除全部未使用的卷并释放空间：

$ docker volume prune
复制代码