解决overlay2存储驱动的磁盘配额问题

为啥要用overlay2

docker centos（内核3.10）上默认存储驱动是devicemapper 的loop-lvm模式，这种模式是用文件模拟块设备，不推荐生产使用direct lvm又不是一个开箱即用的模式，懒得配置,最关键的是 docker in docker的状况下 device mapper是行不通的，典型的场景就是用drone时，构建docker镜像就不能正常工做,overlay存储驱动层数过多时会致使文件连接数过多可能会耗尽inode,因此当前overlay2是个比较好的选择。

内核

你须要一个高版本的内核推荐4.9以上，咱们用的是4.14，若是使用低内核可能你一些FROM别的基础镜像就跑不了，如用overlay2在centos系统上跑FROM ubuntu的镜像（不是必现）。

咱们这里提供了一个免费的内核rpm包 这个在咱们生产环境跑了将近一年没出任何问题。

监控

overlay2若是不作一些特殊操做，cadvisor是监控不到容器内实际使用多少磁盘的，通过xfs和配额配置才能正常监控到

使用xfs文件系统

不使用xfs就没法作到给每一个容器限制10G的大小，就可能出现一个容器的误操做致使把机器盘全占完,咱们使用了lvm去弄个分区出来作xfs文件系统，固然你也能够不用lvm。

if which lvs &>/dev/null; then
  echo ""; echo -e "Remove last docker lv and mount ......"
  lvremove k8s/docker -y
  lvcreate -y -n docker k8s -L 100G
  mkfs.xfs -n ftype=1 -f /dev/mapper/k8s-docker
  mkdir -p /var/lib/docker
  mount -o pquota,uqnoenforce /dev/mapper/k8s-docker /var/lib/docker
  echo -e "/dev/mapper/k8s-docker                                  /var/lib/docker         xfs     defaults,pquota        0 0" >> /etc/fstab
fi

配置使用overlay2

# cat /etc/docker/daemon.json
{
  "storage-opts": [
    "overlay2.override_kernel_check=true",
    "overlay2.size=10G"
  ],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m"
  }
}

systemctl daemon-reload systemctl restart docker

这样就能够把每一个容器磁盘大小限制在10G了