Docker之企业级私有镜像仓库Harbor的部署

Docker镜像仓库Harbor之搭建及配置

Docker镜像仓库Harbor之搭建及配置... 1

1、         Harbor简介... 1

2、         安装和配置Harbor. 3

1.      环境说明... 3

2.      安装docker. 4

3.      安装docker-compose. 4

4.      安装harbor. 6

5.      修改配置文件... 6

6.      执行安装脚本... 6

7.      Harbor启动和中止... 7

8.      访问测试... 7

3、         测试上传和下载镜像... 8

4、         Harbor配置TLS证书... 9

1.      修改Harbor配置文件... 9

2.      建立自签名证书key文件... 9

3.      建立自签名证书crt文件... 10

4.      开始安装Harbor. 10

5.      客户端配置... 10

6.      测试是否支持https访问... 10

5、         镜像删除... 11

6、         遇到问题... 13

 

1、      Harbor简介

1. 1.    Harbor介绍

Docker容器应用的开发和运行离不开可靠的镜像管理，虽然Docker官方也提供了公共的镜像仓库，可是从安全和效率等方面考虑，部署咱们私有环境内的Registry也是很是必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。

1. 2.    Harbor特性

• 基于角色的访问控制 ：用户与Docker镜像仓库经过“项目”进行组织管理，一个用户能够对多个镜像仓库在同一命名空间（project）里有不一样的权限。
• 镜像复制 ： 镜像能够在多个Registry实例中复制（同步）。尤为适合于负载均衡，高可用，混合云和多云的场景。
• 图形化用户界面 ： 用户能够经过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。
• AD/LDAP 支持 ： Harbor能够集成企业内部已有的AD/LDAP，用于鉴权认证管理。
• 审计管理 ： 全部针对镜像仓库的操做均可以被记录追溯，用于审计管理。
• 国际化 ： 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
• RESTful API ： RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
• 部署简单 ： 提供在线和离线两种安装工具， 也能够安装到vSphere平台(OVA方式)虚拟设备。

1. 3.    Harbor组件

Harbor在架构上主要由6个组件构成：

• Proxy：Harbor的registry, UI, token等服务，经过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不一样的服务。
• Registry： 负责储存Docker镜像，并处理docker push/pull 命令。因为咱们要对用户进行访问控制，即不一样用户对Docker image有不一样的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会经过公钥对token 进行解密验证。
• Core services： 这是Harbor的核心功能，主要提供如下服务：
• UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行受权。
• webhook：为了及时获取registry 上image状态变化的状况， 在Registry上配置webhook，把状态变化传递给UI模块。
• token 服务：负责根据用户权限给每一个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,若是不包含token，会被重定向到这里，得到token后再从新向Registry进行请求。
• Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。
• Job Services：提供镜像远程复制功能，能够把本地镜像同步到其余Harbor实例中。
• Log collector：为了帮助监控Harbor运行，负责收集其余组件的log，供往后进行分析。

各个组件之间的关系以下图所示：

                       

Harbor实现

Harbor的每一个组件都是以Docker容器的形式构建的，官方也是使用Docker Compose来对它进行部署。用于部署Harbor的Docker Compose模板位于 harbor/docker-compose.yml,打开这个模板文件，发现Harbor是由7个容器组成的；

nginx：nginx负责流量转发和安全验证，对外提供的流量都是从nginx中转，因此开放https的443端口，它将流量分发到后端的ui和正在docker镜像存储的docker registry。
harbor-jobservice：harbor-jobservice 是harbor的job管理模块，job在harbor里面主要是为了镜像仓库以前同步使用的;
harbor-ui：harbor-ui是web管理页面，主要是前端的页面和后端CURD的接口;
registry：registry就是docker原生的仓库，负责保存镜像。
harbor-adminserver：harbor-adminserver是harbor系统管理接口，能够修改系统配置以及获取系统信息。
这几个容器经过Docker link的形式链接在一块儿，在容器之间经过容器名字互相访问。对终端用户而言，只须要暴露proxy （即Nginx）的服务端口。
harbor-db：harbor-db是harbor的数据库，这里保存了系统的job以及项目、人员权限管理。因为本harbor的认证也是经过数据，在生产环节大多对接到企业的ldap中；
harbor-log：harbor-log是harbor的日志服务，统一管理harbor的日志。经过inspect能够看出容器统一将日志输出的syslog。

这几个容器经过Docker link的形式链接在一块儿，这样，在容器之间能够经过容器名字互相访问。对终端用户而言，只须要暴露proxy （即Nginx）的服务端口。

2、      安装和配置Harbor

1.      环境说明

     

环境名称	版本
系统版本	CentOS Linux   release 7.2.1511 (Core)
docker-ce	17.03.1-ce
docker-compose	1.16.1
Harbor	v1.2.0
安装方式	在线安装
安装位置	/usr/local/harbor

2.      安装docker

安装Harbor须要先安装docker和docker-compose

# yum install -y yum-utils \

  device-mapper-persistent-data \

  lvm2

配置repository：

# yum-config-manager \

    --add-repo \

https://download.docker.com/linux/centos/docker-ce.repo

 

安装最新版本docker-ce   Docker version 17.03.1-ce

# yum install docker-ce

启动docker:

# systemctl start docker

若是须要卸载docker-ce，操做以下：
yum remove docker-ce
卸载后images，containers，volumes，configuration files 是不能自动删除的，为了删除all images，containers，and volumes，请执行以下命令：
rm -rf /var/lib/docker

3.      安装docker-compose

方法一：二进制安装

a.下载二进制文件

# curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

若是须要安装其余版本的话，请修改上面命令中的版本号。

b.赋予二进制文件可执行权限

# chmod +x /usr/local/bin/docker-compose

c.根据本身的状况决定是否安装命令补全功能

# yum install bash-completion

[root@test-tz-master ~]# curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

# docker-compose

build    config   down     exec     images   logs     port     pull     restart  run      start    top      up      

bundle   create   events   help     kill     pause    ps       push     rm       scale    stop     unpause  version 

d.测试是否安装成功

# docker-compose --version

docker-compose version 1.22.0, build 6d1ac21

若是是单机版,则将此文件拷贝到/usr/local/bin/docker-compose,执行便可,只能用这种方式安装的进行，pip方式拷贝不生效。

方法二：pip

# yum install python-pip

# pip install --upgrade pip

# pip install  docker-compose

测试：

# docker-compose --version

卸载docker-compose
对应上面两种安装方法：
二进制：

# rm  /usr/local/bin/docker-compose

pip 方式

# pip uninstall  docker-compose

根据状况看是否须要安装

没有python-pip包执行命令 yum install –y epel-release

执行yum install 报错

"Couldn't open file /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7"

解决：yum install -y epel-release    

# cd /etc/pki/rpm-gpg

# wget https://archive.fedoraproject.org/pub/epel/RPM-GPG-KEY-EPEL-7

报错及解决

报错：ReadTimeoutError: HTTPSConnectionPool(host='pypi.python.org', port=443): Read timed out

# pip --default-timeout=200 install -U docker-compose

若是报错：

pkg_resources.DistributionNotFound: backports.ssl-match-hostname>=3.5 

解决方法：更新backports.ssl-match-hostname的版本，在终端输入命令
　　pip install --upgrade backports.ssl_match_hostname

4.      安装harbor

安装方式分为在线安装和离线安装两种方式，我这里选择的是离线安装。

# wget -P /usr/loca/src/     https://github.com/vmware/harbor/releases/download/v1.6.0/harbor-offline-installer-v1.6.0.tgz

# cd /usr/local/src/

# tar zxf harbor-online-installer-v1.2.0.tgz  -C /usr/local/

# cd /usr/local/harbor/

5.      修改配置文件

# vim /usr/local/harbor/harbor.cfg

hostname = http://192.168.1.121

#邮箱配置

email_server = smtp.qq.com

25email_server_port =

@unixfbiemail_username = unixfbi.com

12345678email_password =

@unixfbiemail_from = UnixFBI <unixfbi.com>

falseemail_ssl =

#禁止用户注册

self_registration = off

#用户建立项目权限控制，默认是everyone（全部人），也能够设置为adminonly（只能管理员）

project_creation_restriction = adminonly

harbor_admin_password = Harbor

6.      执行安装脚本

# sh install.sh

出现如下安装成功

Now you should be able to visit the admin portal at http://192.168.1.121

For more details, please visit https://github.com/vmware/harbor

7.      Harbor启动和中止

Harbor 的平常运维管理是经过docker-compose来完成的，Harbor自己有多个服务进程，都放在docker容器之中运行，咱们能够经过docker ps命令查看。

[root@node01-1 harbor]# docker-compose ps

       Name                     Command               State                                Ports                             

------------------------------------------------------------------------------------------------------------------------------

harbor-adminserver   /harbor/start.sh                 Up                                                                      

harbor-db            /entrypoint.sh postgres          Up      5432/tcp                                                       

harbor-jobservice    /harbor/start.sh                 Up                                                                      

harbor-log           /bin/sh -c /usr/local/bin/ ...   Up      127.0.0.1:1514->10514/tcp                                      

harbor-ui            /harbor/start.sh                 Up                                                                      

nginx                nginx -g daemon off;             Up      0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp

redis                docker-entrypoint.sh redis ...   Up      6379/tcp                                                        

registry             /entrypoint.sh /etc/regist ...   Up      5000/tcp  

Harbor的启动和中止

启动Harbor

# docker-compose start   docker-compose up -d

中止Harbor

# docker-comose stop     docker-compose down -v

重启Harbor

# docker-compose restart

8.      访问测试

浏览器访问：http://192.168.1.121

 

 

后台登陆仓库

[root@node01-1 harbor]# docker login 192.168.1.121 -uadmin -pHarbor

Error response from daemon: Get https://192.168.1.121/v1/users/: dial tcp 192.168.1.121:443: getsockopt: connection refused

[root@node01-1 harbor]# netstat -ntpl

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name   

tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      855/sshd           

tcp        0      0 127.0.0.1:1514          0.0.0.0:*               LISTEN      1475/docker-proxy-c

tcp6       0      0 :::80                   :::*                    LISTEN      1509/docker-proxy-c

tcp6       0      0 :::22                   :::*                    LISTEN      855/sshd           

tcp6       0      0 :::443                  :::*                    LISTEN      1498/docker-proxy-c

tcp6       0      0 :::4443                 :::*                    LISTEN      1487/docker-proxy-c

kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1

查文档千变一概说docker一个bug，卸载重装后依然，

# yum remove docker\*

# yum remove container-selinux\*

# ls docker-ce-

docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm          docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm

# yum install docker-ce-*

# rm -rf /var/lib/docker

# systemctl restart docker

从新安装harbor，

3、      测试上传和下载镜像

更改配置文件不生效,后docker版本更换为17.03，生效

vi /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd    --insecure-registry 192.168.1.121:80

# systemctl daemon-reload

# systemctl restart docker

# docker login 192.168.1.121:80 -uadmin -pHarbor12345

Login Succeeded

 

# docker tag e548f1a579cf  192.168.1.120:80/library/nginx:t1

# docker push  192.168.1.120:80/library/nginx:t1

 

 

 

修改vi /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd    --insecure-registry 192.168.1.120

# systemctl daemon-reload

# systemctl restart docker

# docker login 192.168.1.120

Username: admin

Password:

Login Succeeded

[root@master-1 harbor]# docker push  192.168.1.120/library/nginx:t2

The push refers to a repository [192.168.1.120/library/nginx]

e89b70d28795: Pushed

832a3ae4ac84: Layer already exists

014cf8bfcb2d: Layer already exists

t1: digest: sha256:9b1ac09900081baca06c8cad32767aeceed9ee62404b1f0c20122cb9a7b1a6e1 size: 948

 

 

可见docker配置文件配的什么就是什么，

至此私有镜像库搭建完毕！

 

4、      Harbor配置TLS证书

1.      修改Harbor配置文件

修改harbor.cfg

hostname = rgs.unixfbi.com

ui_url_protocol = https

ssl_cert = /etc/certs/ca.crt

ssl_cert_key = /etc/certs/ca.key

2.      建立自签名证书key文件

# mkdir /etc/certs

# openssl genrsa -out /etc/certs/ca.key 2048

Generating RSA private key, 2048 bit long modulus

....+++

..................................................+++

e is 65537 (0x10001)

3.      建立自签名证书crt文件

注意命令中/CN=rgs.unixfbi.com字段中rgs.unixfbi.com修改成你本身的仓库域名。

# openssl req -x509 -new -nodes -key /etc/certs/ca.key -subj "/CN=rgs.unixfbi.com" -days 5000 -out /etc/certs/ca.crt

4.      开始安装Harbor

# ./install.sh

✔ ----Harbor has been installed and started successfully.----

Now you should be able to visit the admin portal at https://rgs.unixfbi.com.

For more details, please visit https://github.com/vmware/harbor .

5.      客户端配置

客户端须要建立证书文件存放的位置，而且把服务端建立的证书拷贝到该目录下，而后重启客户端docker。咱们这里建立目录为：/etc/docker/certs.d/rgs.unixfbi.com

# mkdir -p /etc/docker/certs.d/rgs.unixfbi.com

把服务端crt证书文件拷贝到客户端，例如我这的客户端为：192.168.199.183

# scp /etc/certs/ca.crt root@192.168.199.183:/etc/docker/certs.d/rgs.unixfbi.com/

重启客户端docker

# systemctl restart docker

 

6.      测试是否支持https访问

# docker login rgs.unixfbi.com

Username (admin):

Password:

Login Succeeded

 

5、      镜像删除

Harbor私有仓库运行一段时间后，仓库中存有大量镜像，会占用太多的存储空间。直接经过Harbor界面删除相关镜像，并不会自动删除存储中的文件和镜像。须要中止Harbor服务，执行垃圾回收命令，进行存储空间清理和回收。

 

#要启用垃圾回收（GC），首先要关闭Harbor服务，而后再执行清理命令

#中止Harbor相关服务

$ docker-compose stop

#使用--dry-run参数运行容器，预览运行效果，但不删除任何数据

$ docker run -it --name gc --rm --volumes-from registry vmware/registry:2.6.2-photon garbage-collect --dry-run /etc/registry/config.yml

#NOTE: The above option "--dry-run" will print the progress without removing any data.

Verify the result of the above test, then use the below commands to perform garbage collection and restart Harbor.

#不使用--dry-run参数，将删除相关的文件和镜像，

$ docker run -it --name gc --rm --volumes-from registry vmware/registry:2.6.2-photon garbage-collect  /etc/registry/config.yml

#从新启动Harbor相关服务

$ docker-compose start

图1：01-先在Harbor UI图形界面中删除不须要的镜像

图2：02-中止Harbor服务，执行垃圾回收命令

[root@master-1 harbor]# docker images | grep goharbor | grep registry

goharbor/registry-photon                                   v2.6.2-v1.6.0       98bf341403a5        6 days ago          201 MB

 

# docker run -it --name gc --rm --volumes-from registry goharbor/registry-photon:v2.6.2-v1.6.0  garbage-collect --dry-run /etc/registry/config.yml

# docker run -it --name gc --rm --volumes-from registry goharbor/registry-photon:v2.6.2-v1.6.0 garbage-collect /etc/registry/config.yml

 

6、      遇到问题

遇到的问题就是Harbor我配置的是http访问，可是docker客户端默认都是https访问Harbor，因此就会产生错误。下面看看我是怎么解决这个问题的吧。下面咱们来访问如下Harbor

# docker pull rgs.unixfbi.com/library/centos7.1:0.1

Error response from daemon: Get https://rgs.unixfbi.com/v1/_ping: dial tcp 192.168.199.233:443: getsockopt: connection refused

解决方法：
方法一：
在docker启动的配置仓库地址添加以下内容：
--insecure-registry rgs.unixfbi.com

# vim /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd --insecure-registry rgs.unixfbi.com

而后

# systemctl daemon-reload

# systemctl  restart docker

 

补充：--insecure-registry 192.168.1.14:5000

dig @114.114.114.114 registry-1.docker.io

参考文档:

docker官网： https://docs.docker.com/install/

compose文档：https://docs.docker.com/compose/install/#install-compose

harbor官网：https://github.com/goharbor/harbor/releases