网易技术实践｜Docker文件系统实战

时间 2020-06-22

原文原文链接

在本文中，咱们来实战构建一个Docker镜像，而后实例化容器，在Docker的生命周期中详细分析一下Docker的文件存储状况和DockerFile优化策略

在开始实战以前，咱们先介绍一个概念，联合文件系统（Union File System）。联合文件系统是实现Docker镜像的技术基础，支持对文件系统的修改做为一次提交来一层层的叠加，同时能够将不一样目录挂载到同一个虚拟文件系统下。镜像的分层存储和继承就是基于此特性实现。

下面是Docker官方的一张描述文件系统的图片，显示了一张联合文件系统在串联镜像层和容器层起到的做用linux

Docker支持多种联合文件系统，常见的有aufs，deviceMapper，overlay，overlay2，本文章中使用的系统版本为debian9.1，Docker版本为17.06.2-ce，默认使用是overlay2。json

看到这里若是你已经对Docker文件系统有了简单的概念，那么让咱们开始实战，来对分层文件系统的存储方式进行更加深刻的了解。

镜像层

这是一个云信私有化项目中基于debian系统镜像建立的jdk8基础镜像，为了方便阅读和分析，咱们Dockerfile进行了一些精简，只保留核心部份内容

FROM hub.c.163.com/library/debian:stretch
MAINTAINER nim
#下载jdk
ADD http://10.173.11.100/nim/jdk-8u202-linux-x64.tar.gz /usr/local/nim/
#解压jdk并删除
RUN tar -xzvf /usr/local/nim/jdk-8u202-linux-x64.tar.gz -C /usr/local/nim/ \
&& rm /usr/local/nim/jdk-8u202-linux-x64.tar.gz
#设置环境变量
ENV JAVA_HOME=/usr/local/nim/jdk1.8.0_202
ENV PATH=$JAVA_HOME/bin:$PATH
CMD ["/bin/bash"]

根据构建镜像，查看构建结果，原基础镜像100M，构建后镜像体积697M。复制代码

镜像存储

如今开始看一下构建镜像工做在文件层存储状况。首先咱们使用Docker history查看一下刚刚构建镜像状况，能够看到基础镜像占用100M，两个镜像分层占用194MB和403M。缓存

接下来咱们看查看一下文件系统中的存储状况，本环境使用overlay2，Docker镜像层存储默认路径为/var/lib/Docker/overlay2/，能够看到镜像存储目录下有4个目录，其中110M的对应是基础镜像，另外两个为ADD JDK（186M）和解压JDK压缩包的镜像分层（389M）。bash

其中的l目录包含了全部层的软链接，软连接使用短名称，避免mount时候参数达到页面大小限制。网络

下面咱们了解一下，每一个分层中的文件内容。基础镜像分层包含diff文件夹和link文件，diff文件夹中存放当前分层内容，link文件记录短名称。app

接下来看一下COPY JDK生成的内容，diff文件夹保存了jdk压缩包，本层相比基础镜像层，多了lower，merged，work三个文件/文件夹，其中lower记录了此层的下层ID（基础镜像层），merged目录做为提供了统一视图，在容器层读写层被使用，work目录用于联合挂载指定的工做目录，使用过程对用户不可见。运维

解压JDK层的文件夹结构内容和上一层相似，主要关注jdk压缩包占用空间为0，表示已被删除。curl

如今来重点关注一个问题，镜像大小等于全部分层相加，在后续分层中被删除的jdk压缩包仍然要占用存储空间，这并非咱们本来意图，所以这里就出现了镜像文件进行优化的点。优化后的Dockerfile以下优化

FROM hub.c.163.com/library/debian:stretch
MAINTAINER nim
RUN curl -o /usr/local/nim/jdk-8u202-linux-x64.tar.gz http://10.173.11.100/nim/jdk-8u202-linux-x64.tar.gz \
&& tar -xzvf /usr/local/nim/jdk-8u202-linux-x64.tar.gz -C /usr/local/nim/ \
&& rm /usr/local/nim/jdk-8u202-linux-x64.tar.gz \
&& export JAVA_HOME=/usr/local/nim/jdk1.8.0_202 \
&& export PATH=$JAVA_HOME/bin:$PATH
CMD ["/bin/bash"]复制代码

借这个优化后的内容，咱们再谈一下构建Docker镜像时在时间和空间可优化的点：

组合运行语句：合并相同类型构建语句，能够有效减小镜像分层；
利用镜像构建缓存：时间同步，基础软件安装等固定内容在镜像前部分处理，镜像从新构建时会使用缓存，节省时间；
清理中间产物：注意安装过程当中使用的软件和压缩包在必定要同一层里清理，不然仍然会占用镜像空间；
构建语句优化：好比ADD在处理本地文件时能够直接解压缩，起到COPY + RUN tar的做用；
优化基础镜像源：国内高校和大型IT企业都有建立镜像站，选择一个稳定更新及时的镜站能够有效缩短构建时间；

举例的镜像中优化策略涉及1,3条，用curl替代add，与解压和删除合并为一层，Dockerfile减小了层数，清理中间过程的jdk安装包，下图是优化后镜像体积变化：

构建镜像真的是层数越少越好吗？固然不是这么绝对，尤为在早期镜像版本不是很稳定或是后续迭代比较频繁时，合理的镜像分层会减小编译时间，下降出错几率，也可让Dockerfile更具备可读性。能够再稳定版本造成以后对镜像进行二次优化。ui

镜像元数据

分析一个镜像元数据咱们主要关注三个目录

/var/lib/Docker/image/overlay2/imaged/
/var/lib/Docker/image/overlay2/layerdb/
/var/lib/Docker/overlay2/复制代码

第一个目录保存镜像基础元数据，第二个目录保存镜像分层元数据，第三个是上文提到的分层存储目录，保存实际分层内容。下面就根据实际状况来看一下，元数据与存储信息是如何关联起来的。

Docker镜像的基本信息保存在/var/lib/Docker/image/overlay2/imaged/content/sha256/下面，能够根据Docker image ID在此目录下查找到对应ID开头文件。此文件中以json的形式保存了该镜像的分层文件系统、构建信息、相关容器等内容。

第二个目录/var/lib/Docker/image/overlay2/layerdb/sha256/保存分层元数据，每个分层元数据目录下有cache-id，diff，size信息，其中cache-id对应分层存储层，diff关联镜像基础元数据信息。

容器层

首先咱们来启动一个容器，挂载宿主机/opt/yunxin目录到容器/usr/local/yunxin目录

建立容器完成以后，在镜像存储目录/var/lib/Docker/overlay2/会生成容器的初始层和读写层，二者使用相同标识，初始层后面多了-init。初始层中主要保存初始化容器环境时，与容器相关的环境信息，如容器主机名，主机host信息以及域名服务文件等；读写层用于容器的读写，Docker容器内的进程只对读写层拥有写权限，而对其余层文件内容只拥有读权限。

接下来咱们进入容器操做进行一系列操做，再根据结果分析一下读写层对于文件的保存和处理，下面是操做和对应结果以及读写层实际文件存储状况。

读写层中的merged文件夹提供了统一视图，面向用户展现联合文件系统挂载完成的最终形态。

接下来咱们再基于同一个镜像启动几个容器实例，而后来查询一下Docker容器使用空间，只有第一个容器因为上面修改文件只占用154k，新启动的容器并无额外占用空间。可见基于同一个镜像建立容器时，全部的容器共享镜像层内容，有效节约了空间。读写层只保存修改内容，若是是操做镜像层文件，Docker采用的是修改时复制策略(copy-on-write)。这时回头再看一下第一节出现的两张图，会对Docker的文件系统有了更深的体会。

结语

Docker 镜像和容器文件系统相关知识在云信私有化产品的镜像管理和运维存储管理方面做出理论支撑，但这只是深刻了解Docker的开始。随着时间的积淀和云信旗下IM、音视频、点播以及众多相关产品私有化工做的深刻，更多的模块和镜像，更多的客户和需求，更复杂的网络和环境都逐渐呈如今咱们面前。Docker做为构建云信私有化服务的基础，只有更深刻的去了解原理才能在使用中去更好的优化产品和开展运维。但愿咱们能为用户提供更可靠的云信私有化服务，也但愿能在后续的文章中能与你们分享更多关于Docker的知识。

当即了解网易云信私有云>>

更多技术干货，欢迎关注vx公众号“网易智慧企业技术+”。系列课程提早看，精品礼物免费得，还可直接对话CTO。

听网易CTO讲述前沿观察，看最有价值技术干货，学网易最新实践经验。网易智慧企业技术+，陪你从思考者成长为技术专家。