012-P2P加速Docker镜像分发(阿里Dragonfly)

时间 2019-11-09

标签 p2p 加速 docker 镜像分发阿里 dragonfly 栏目硅谷繁體版

原文原文链接

这是坚持技术写做计划（含翻译）的第12篇，定个小目标999，每周最少2篇。php

吐槽一下，最近有点懒，竟然欠了4篇，后续会慢慢补上。html

介绍

若是说，微服务和容器是最佳拍档，那么模块多实例是确定少不了。
假如没有使用相似 Google jib 等手段进行镜像分层（利用镜像缓存），势必会形成前端

带宽浪费：尤为是公网带宽，若是是自建harbor，那么会容易致使单节点网卡被打满，若是用了harbor联邦，又会致使数据同步等运维问题。
集群拉起慢：镜像下载慢，必然会致使服务拉起慢。

关于Google jib能够参见我另一篇加速和简化构建Docker(基于Google jib) ，本文只介绍 Dragonfly + dfdaemonnode

Dragonfly是阿里巴巴自研并开源的一款基于P2P协议的文件分发系统。除了使用 dfget 进行文件下载外，还支持dfdaemon 进行docker镜像下载。git

关于Dragonfly的镜像分发的原理性说明，可参见直击阿里双11神秘技术：PB级大规模文件分发系统“蜻蜓” ，文中介绍很详细，此处很少说明。程序员

google jib 和 Dragonfly 系列文章github

实验环境

类型	系统	ip	docker version
supernode	Ubuntu Server 16.04.6 LTS X64	192.168.0.44	17.06.2~ce-0~ubuntu
clinet1	Ubuntu Server 16.04.6 LTS X64	192.168.0.40	17.06.2~ce-0~ubuntu
clinet2	Ubuntu Server 16.04.6 LTS X64	192.168.0.45	17.06.2~ce-0~ubuntu

注意：
若是是实验目的，建议用Vmware，而且在关键操做时备份快照（好比，刚装完环境），这样可以及时，干净的还原现场，节省每次重装系统致使的时间浪费docker

安装json

吐槽一下Dragonfly的文档，简直让人不知因此。结合issues + 钉钉群内请教，遂整理出最简使用文档。 ubuntu

supernode

可选：给supernode增长docker加速器，能够参考 cr.console.aliyun.com/cn-hangzhou… ，若是不须要，能够去掉。

$ cat <<EOD >/etc/docker/daemon.json
{
"registry-mirrors": ["https://xxxx.mirror.aliyuncs.com"] 
}
EOD
$ systemctl restart docker 
复制代码

$ docker run --name dragonfly-supernode --restart=always -d -p 8001:8001 -p 8002:8002 -v /data/dragonfly/supernode:/home/admin/supernode registry.cn-hangzhou.aliyuncs.com/dragonflyoss/supernode:0.3.0 -Dsupernode.advertiseIp=192.168.0.44
复制代码

说明：

--restart=always 在容器退出时，自动重启容器，防止异常kill或者oom致使的异常退出
registry.cn-hangzhou.aliyuncs.com/dragonflyoss/supernode:0.3.0 dragonfly的supernode目前没有docker hub镜像，只能用阿里云的
-v /data/dragonfly/supernode:/home/admin/supernode 将supernode的data dir挂载到宿主机上
-Dsupernode.advertiseIp=192.168.0.44 设置clinet能够访问的supernode ip,这是一个大坑。若是不设置，有可能会致使client没法链接supernode，届时，docker pull会走clinet的网络，从真实的registry直接下载镜像

dfdaemon

$ cat <<EOD >/etc/dragonfly.conf
[node]
address=192.168.0.44
EOD
$ docker run --name dragonfly-dfclient --restart=always -d -p 65001:65001 -v /root/.small-dragonfly:/root/.small-dragonfly -v /etc/dragonfly.conf:/etc/dragonfly.conf dragonflyoss/dfclient:v0.3.0 --registry=https://xxx.mirror.aliyuncs.com  --ratelimit 100M
$ cat <<EOD >/etc/docker/daemon.json
{
"registry-mirrors": ["http://127.0.0.1:65001"]
}
EOD
$ systemctl restart docker 
复制代码

说明：

在 /etc/dragonfly.conf 中配置client能够访问的supernode的ip地址，可是，目前官方没有作HA，supernode无法组集群，撑死算是联邦，不能共享文件信息，并且最坑的是，快速开始里，中英文均未提供须要配置此文件，而是在 Downloading Files with Dragonfly 等有所说起（我都是被坑完后，用关键词在d7y的org里搜索，相似知道答案后，找出处手动[捂脸]）
-v /root/.small-dragonfly:/root/.small-dragonfly ,将容器中的关键目录挂载到宿主机上，防止重启或者镜像升级时，数据丢失
--registry=https://xxx.mirror.aliyuncs.com 从何处下载镜像，能够写harbor地址，也能够写加速器地址。默认是 index.docker.io ，可是，由于国内网络缘由，会致使大几率性失败。很灵异。而官方文档是写的 --registry https://xxx.xx.x 不能算是坑，可是，对于docker不熟悉的，每每会不知能不能用加速器。
--ratelimit 100M 是限速，默认是20M ,这确定不算坑哈，这是正常特性，在 dfdaemon#Options 有说明，可是，文档是有误的 -ratelimit 而实际是 --ratelimit ,若是不改此参数，会发现，下载很慢。
修改/etc/docker/daemon.json 是为了让docker engine走 dfdaemon
systemctl restart docker 是为了让daemon生效

测试

大文件测试

$ docker pull anjia0532/kubeflow-images-public.tensorflow-1.6.0-notebook-gpu:v20180604-b3733835
复制代码

能够经过 iftop 等软件，查看带宽使用状况判断是否生效，也能够经过查看日志来判断。

可是会常常性的出现 error pulling image configuration: received unexpected HTTP status: 502 Bad Gateway

最后

须要结合实际状况，配置相关参数，好比，文件失效时间，用来平衡文件有效期及磁盘使用量。

参考资料

招聘小广告

山东济南的小伙伴欢迎投简历啊加入咱们 , 一块儿搞事情。

长期招聘，Java程序员，大数据工程师，运维工程师，前端工程师。