devicemapper 最佳实践

devicemapper 最佳实践

docker 最早是跑在ubuntu和debian上的,使用aufs存储器. 因为docker愈来愈流行,许多公司但愿在RHEL上使用,可是上游内核中没有包括aufs,因此rhel不能使用aufs. 最终开发者们开发了一个新的后端存储引擎devicemapper,基于已有的Device Mapper技术,而且使docker支持可插拔,如今全世界有不少真实案例在生产环境使用devicemapper.

镜像层与共享

devicemapper存储每一个镜像和容器在本身的虚拟设备上,也就是说这些设备是按需分配(copy-on-write snapshot devices),Device Mapper技术是工做在block级别的而不是文件级别的.

devicemapper建立镜像的方式是:

1. devicemapper基于块设备或loop mounted sparse files来建立一个虚拟池.
2. 而后在上面建立一个有文件系统的基础设备(base device).
3. 每一个镜像层就是基于这个基础设备的COW快照(snapshot),也就是说这些快照初始化时是空的,只有数据写入时才会占用池中的空间.

图示:

容器就是在镜像上再建立一个快照

devicemapper的读操做

例图:

1. 容器中的应用请求块0x44f,由于容器层也是个虚拟的快照,不存数据,只有指针.经过指针找到存放数据的镜像层.
2. 根据指针找到a005e层的0xf33.
3. devicemapper copy其中的数据到容器内存中.
4. 存储驱动器返回数据给请求的应用.

devicemapper的写操做

devicemapper写操做是经过allocate-on-demand(按需分配)的方式.更新数据是经过COW方式. 由于devicemapper是一种基于块的技术,因此就算修改一个大文件,也不会copy整个文件过来.只会copy对应要修改的块.

写新数据

写56k的数据到容器中:

1. 应用请求写56k的数据到容器
2. 按需分配一个新的64k大小的块在容器层.(超过64k,则分配多个)
3. 数据写入新分配的块中

修改数据

1. 应用请求修改容器中数据
2. cow操做定位到要更新的块
3. 分配新的块在容器层并将数据copy过来
4. 对数据进行修改

配置docker使用devicemapper

基于rhel的分支默认使用的devicemapper,而且默认配置成loop-lvm模式运行.这种模式使用文件来做为虚拟池(thin pool)构建镜像和容器的层. 可是生产环境不因该使用这种模式.

经过docker info命令来检查

[root@srv00 ~]# docker info 
 WARNING: Usage of loopback devices is strongly discouraged for production use. Either use `--storage-opt dm.thinpooldev` or use `--storage-opt dm.no_warn_on_loop_devices=true` to suppress this warning.
...
 Data loop file: /var/lib/docker/devicemapper/devicemapper/data
 Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata
 Library Version: 1.02.107-RHEL7 (2015-12-01)
 ...

Data loop file,Metadata loop file指示了docker运行在loop-lvm模式下,而且还有个WARNING.

为生产环境配置direct-lvm模式

生产环境下因该使用direct-lvm,若是以前有镜像在loop-lvm模式下建立,须要切换,则因该将镜像作备份.(push到hub或私有registry)

我给虚拟机分配个30G磁盘

1.中止docker daemon

[root@srv00 ~]# systemctl stop docker

2.建立相关的逻辑卷和thinpool

建立pv

[root@srv00 ~]# fdisk -l <==检查下磁盘
...
Disk /dev/xvdb: 32.2 GB, 32212254720 bytes, 62914560 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

[root@srv00 ~]# pvcreate /dev/xvdb
  Physical volume "/dev/xvdb" successfully created

建立vg

[root@srv00 ~]# vgcreate vgdocker /dev/xvdb
  Volume group "vgdocker" successfully created

建立一个thin pool,名字叫thinpool,先来建立逻辑卷

[root@srv00 ~]# lvcreate --wipesignatures y -n thinpool -l 95%VG vgdocker
  Logical volume "thinpool" created.
[root@srv00 ~]# lvcreate --wipesignatures y -n thinpoolmeta -l 1%VG vgdocker  
  Logical volume "thinpoolmeta" created.
[root@srv00 ~]# lvscan
  ACTIVE            '/dev/centos/swap' [4.00 GiB] inherit
  ACTIVE            '/dev/centos/root' [35.47 GiB] inherit
  ACTIVE            '/dev/vgdocker/thinpool' [28.50 GiB] inherit
  ACTIVE            '/dev/vgdocker/thinpoolmeta' [304.00 MiB] inherit

剩余的4%留给它们自动扩展

转换成thin pool

[root@srv00 ~]# lvconvert -y --zero n -c 512K --thinpool vgdocker/thinpool --poolmetadata vgdocker/thinpoolmeta
  WARNING: Converting logical volume vgdocker/thinpool and vgdocker/thinpoolmeta to pool's data and metadata volumes.
  THIS WILL DESTROY CONTENT OF LOGICAL VOLUME (filesystem etc.)
  Converted vgdocker/thinpool to thin pool.

设置thinpool的自动扩展参数,并应用此profile

[root@srv00 ~]# vi /etc/lvm/profile/docker-thinpool.profile
activation {
    thin_pool_autoextend_threshold=80
    thin_pool_autoextend_percent=20
}
[root@srv00 ~]# lvchange --metadataprofile docker-thinpool vgdocker/thinpool
  Logical volume "thinpool" changed.

当空间大于80%时进行扩展.扩展的大小是空闲空间的20%

查看thinpool是不是已监视状态

[root@srv00 ~]# lvs -o+seg_monitor
  LV       VG        Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert Monitor  
  root     centos    -wi-ao---- 35.47g                                                              
  swap     centos    -wi-ao----  4.00g                                                              
  thinpool vgdocker twi-a-t--- 28.50g             0.00   0.02                             monitored

3.删除docker存储目录

[root@srv00 ~]# rm -rf /var/lib/docker/*

注意备份重要镜像等

4.修改启动参数并启动

咱们经过systemd的drop-in方式修改,也是官方推荐的

[root@srv00 ~]# mkdir /etc/systemd/system/docker.service.d
[root@srv00 ~]# vi /etc/systemd/system/docker.service.d/daemon.conf
[Service]
ExecStart=
ExecStart=/usr/bin/docker daemon -H fd:// --storage-driver=devicemapper --storage-opt=dm.thinpooldev=/dev/mapper/vgdocker-thinpool --storage-opt dm.use_deferred_removal=true
[root@srv00 ~]# systemctl daemon-reload
[root@srv00 ~]# systemctl start docker

ExecStart= 第一行是空.不然启动会报错,而且修改daemon参数须要reload

5.检查确认

[root@srv00 docker]# docker info
Containers: 0
 Running: 0
 Paused: 0
 Stopped: 0
Images: 0
Server Version: 1.11.1
Storage Driver: devicemapper
 Pool Name: vgdocker-thinpool
 Pool Blocksize: 524.3 kB
 Base Device Size: 10.74 GB
 Backing Filesystem: xfs
 ...
 [root@srv00 docker]# lvs -a
  LV               VG       Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  root             centos   -wi-ao----  35.47g                                                    
  swap             centos   -wi-ao----   4.00g                                                    
  [lvol0_pmspare]  vgdocker ewi------- 304.00m                                                    
  thinpool         vgdocker twi-a-t---  28.50g             0.07   0.02                            
  [thinpool_tdata] vgdocker Twi-ao----  28.50g                                                    
  [thinpool_tmeta] vgdocker ewi-ao---- 304.00m                                                    
[root@srv00 docker]# lsblk
NAME                      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sr0                        11:0    1 114.4M  0 rom  
xvda                      202:0    0    40G  0 disk 
├─xvda1                   202:1    0   500M  0 part /boot
└─xvda2                   202:2    0  39.5G  0 part 
  ├─centos-root           253:0    0  35.5G  0 lvm  /
  └─centos-swap           253:1    0     4G  0 lvm  [SWAP]
xvdb                      202:16   0    30G  0 disk 
├─vgdocker-thinpool_tmeta 253:2    0   304M  0 lvm  
│ └─vgdocker-thinpool     253:5    0  28.5G  0 lvm  
└─vgdocker-thinpool_tdata 253:3    0  28.5G  0 lvm  
  └─vgdocker-thinpool     253:5    0  28.5G  0 lvm

而后就能够正常的docker run 了

devicemapper的性能影响

• Allocate-on-demand性能影响

以前讲说,若是容器中要写数据,则会在容器层分配新的块,每一个快64k,若是要写的数据大于64k,则会分配多个块. 若是容器中有许多小文件的写操做..则会影响性能.

• Copy-on-write 性能影响

容器中第一次更新一个已有数据时,就会进行cow操做,若是更新大文件的某一部分,则只会copy相应的数据快,这个性能提高很大. 若是更新大量小文件(<=64k),devicemapper的性能就比AUFS差.

• 其余

  • loop-lvm模式的性能不好,不推荐使用在生产环境.生产环境使用direct-lvm模式,它是直接操做raw设备.
  • 使用ssd的话提高更明显
  • devicemapper内存使用不是最有效的.运行n个容器会加载n次相同文件到内存.因此不是运行pass平台和高密度容器最好的选择.

• 固然容器中写操做多的话要尽可能使用data volume,它是绕过storage driver,性能有保证

//END