docker swarm 搭建与服务更新

时间 2019-11-06

原文原文链接

一，docker swarm 是什么html

Docker Swarm、Docker Machine与Docker Compose号称Docker三剑客
Docker Swarm 和 Docker Compose 同样，都是 Docker 官方容器编排项目，但不一样的是，Docker Compose 是一个在单个服务器或主机上建立多个容器的工具，能够将组成某个应该的多个docker容器编排在一块儿，同时管理。
而 Docker Swarm 则能够在多个服务器或主机上建立容器集群服务，其主要做用是把若干台Docker主机抽象为一个总体，而且经过一个入口（docker stack）统一管理这些Docker主机上的各类Docker资源。前端

Swarm的基本架构以下图所示，node

stack 是构成特定环境中的 service 集合, 它是自动部署多个相互关联的服务的简便方法，而无需单独定义每一个服务。
stack file 是一种 yaml 格式的文件，相似于 docker-compose.yml 文件，它定义了一个或多个服务，并定义了服务的环境变量、部署标签、容器数量以及相关的环境特定配置等。

二，启动Swarm，并建立集群

Docker 默认包含了 Swarm，所以能够直接使用，初始化命令：docker swarm init

docker swarm init --advertise-addr 192.168.100.129

此时将本机ip“192.168.100.126”，会默认当前节点为 Leader，执行 docker info 查看linux

经过下面命令获取加入token，其余节点能够用 manager 或者 worker 的身份加入到当前集群web

docker swarm join-token [worker|manager]

须要加入的节点无需再执行“docker swarm init”初始化，直接加入节点便可spring

出错了，须要在管理管设置防火墙docker

firewall-cmd --permanent --add-port=2377/tcp # 容许某端口放行

而后执行防火墙从新加载tomcat

firewall-cmd --reload

再次在须要加入的节点上执行加入服务器

这里咱们加入2个节点，执行 docker info 查看微信

在管理端执行“docker info” 查看，显示工3个节点

脱离集群

docker swarm leave

结果以下：

三，docker-stack.yml文件编排

Docker stack 也是一个yaml文件，和一份docker-compose.yml文件差很少，指令也基本一致。可是与compose相比其不支持build、links和network_mode。Docker stack有一个新的指令deploy。

注：stack不支持的指令

Deploy是用来指定swarm服务部署和运行时的相关配置，而且只有使用docker stack deploy 部署swarm集群时才会生效。若是使用docker-compose up 或者docker-compose run时，该选项会被忽略。要使用deploy选项，compose-file中version版本要在3或3+。

下面经过一个demo说明 deploy关键选项version: "3.4"

version: "3.4"
services:
  demo-docker:
    image: ejiyuan/demo-docker
    ports:
      - 8081:8081
    environment:
      - DF_NOTIFY_CREATE_SERVICE_URL=http://proxy:8080/v1/docker-flow-proxy/reconfigure
    deploy:
      mode: replicated
      replicas: 2
      endpoint_mode: vip
      labels:
        com.example.description: "This label will appear on the web service"
      resources:
        limits:
          cpus: '0.50'
          memory: 50M
        reservations:
          cpus: '0.25'
          memory: 20M
      restart_policy:
        condition: on-failure
        delay: 5s
        max_attempts: 3
        window: 120s
      update_config:
        parallelism: 1
        delay: 10s
        order: start-first
  visualizer:
    image: dockersamples/visualizer
    ports:
      - "9080:8080"
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
    deploy:
      replicas: 1
      placement:
        constraints: [node.role == manager]
  portainer:
    image: portainer/portainer
    ports:
      - "9000:9000"
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
    deploy:
      replicas: 1
      placement:
        constraints: [node.role == manager]

visualizer，portainer 为服务管理与监听服务，这里先不作详细介绍

1，mode ：global 全局（每一个群集节点只有一个容器）replicated 副本（指定容器的数量）。默认值：replicated。

2，replicas：副本模式下每一个节点启动副本的数量

3，endpoint_mode：指定swarm服务发现的模式

vip - Docker为swarm集群服务分配一个虚拟IP(VIP)，做为客户端到达集群服务的“前端”。Docker 在客户端和可用工做节点之间对服务的请求进行路由。而客户端不用知道有多少节点参与服务或者是这些节点的IP/端口。（这是默认模式）
dnsrr - DNS轮询（DNSRR）服务发现不使用单个虚拟IP。 Docker为服务设置DNS条目，使得服务名称的DNS查询返回一个IP地址列表，而且客户端直接链接到其中的一个。若是您想使用本身的负载平衡器，或者混合Windows和Linux应用程序，则DNS轮询功能很是有用。

4，labels：指定服务的标签。这些标签仅在服务上设置，而不在服务的任何容器上设置

5，resources：设置服务资源分配

limits：最大使用限制
reservations：表示预留，即最小使用
cpus: '0.50' 表示最大或预留50%
memory: 20M：表示最大或预留20M

6，restart_policy：配置在容器退出时是否并如何重启容器。取代docker-compose 中的 restart指令。

condition ：none、on-failure和any（默认any）
delay ：在重启尝试之间等待多久（默认0）
max_attempts ：尝试重启的次数（默认一直重启，直到成功）
window ：在确实一个重启是否成功前须要等待的窗口时间

7，update_config ：配置更新服务，用于无缝更新应用（rolling update)

parallelism：同一时间升级的容器数量
delay：容器升级间隔时间
failure_action：升级失败后的动做（continue、rollback和pause。默认pause）。
monitor：更新完成后确实成功的时间（ns|us|ms|s|m|h）。（默认0s）
max_failure_ratio：更新期间容许的失败率
order：更新期间的操做顺序。中止优先（旧任务在开始新任务以前中止）或者先启动（首先启动新任务，而且正在运行的任务短暂重叠）（默认中止优先）注意：只支持v3.4及更高版本。

四，docker stack相关命令

1， docker stack deploy：部署新的堆栈或更新现有堆栈

docker stack deploy [OPTIONS] STACK

参数

--bundle-file：【实验阶段】分布式应用程序包文件的路径
-c --compose-file ：Stack File 路径
--prune：删除再也不被引用的服务
--resolve-image：查询 Registry 以解决镜像摘要和支持的平台可选值：always(默认)、changed、never
--with-registry-auth：向 Swarm 代理发送 Registry 认证详细信息

私有仓库须要携带"--with-registry-auth"参数，不然提示

image registry.cn-beijing.aliyuncs.com/ejiyuan/app:latest could not be accessed on a registry to record 
its digest. Each node will access registry.cn-hangzhou.aliyuncs.com/ejiyuan/app:latest,
possibly leading to different nodes running different

须要先登陆到阿里私有仓

sudo docker login --username=ejiyuan@aliyun.com registry.cn-beijing.aliyuncs.com

内网地址

sudo docker login --username=ejiyuan@aliyun.com registry-vpc.cn-beijing.aliyuncs.com

执行命令开始使用 docker-stack.yml 文件部署服务堆，堆名为“test”

 docker stack deploy -c docker-stack.yml test --with-registry-auth

结果以下：

2，docker stack ls：列出现有堆栈以及堆中的服务数量

docker stack ls [flags]

SERVICES 显示堆中有多少个服务

3，docker stack ps：列出堆栈中的任务

docker stack ps [OPTIONS] STACK [flags]

对应 docke run为上图中，绿、蓝、黄分别表明上面文件中定义的三个服务

第一行，任务NAME “test_demo-docker.1”，"test"表示服务栈名称，“_”后面的demo-docker是文件中定义的服务名称，“.1”表示第一个实例；
第四列 NODE表示所在的节点；
第五列:desired state 状态running运行中；
下面一行 “\_”表示为第一次重启，跟部署配置文件（docker-stack.yml）中的“restart_policy”，重启策略有关，文件中设置了出错重启，最多重启3次，因此3行的，“\_”，第五列状态显示为 shutdown中止
第七列显示错误缘由
task:non-zero exit(137) 错误缘由服务容器内容不足，上面部署配置文件（docker-stack.yml）中设置了内存为20M，因此致使服务反复重启知道达到 max_attempts 限制， by：https://success.docker.com/article/what-causes-a-container-to-exit-with-code-137

4，docker stack services ：列出堆栈中的服务

docker stack services [OPTIONS] STACK [flags]

NAME 表示堆中的服务
MODE 文件中配置的启动模式，这里都是 replicated （副本模式）
REPLICAS 表示正在运行的/启动的副本数量

5，docker stack rm ：删除一个或多个堆栈

 docker stack rm STACK [STACK...] [flags]

六，服务升级

docker service upadte 命令参数详解

--force 强制更新重启服务，不管是否配置或镜像改变都更新
--image <image:tag> 制定更新的镜像
--with-registry-auth 向 Swarm 代理发送 Registry 认证详细信息，私有仓库须要携带该参数

1，更新镜像：

docker service update --image ejiyuan/demo-docker:latest test_demo-docker

使用 portainer/portainer:latest镜像，更新 portainer_portainer服务，此方法执行前，必须将镜像文件上传到远程仓中，程序会自动拉取远程仓中镜像文件与启动服务的镜像对比，若是没有变化不会启动更新，也不会重启服务

即便设置了update_config.order: start-first，服务会先启动在中止，可是tomcat 启动 spring 项目须要必定时间，这段时间服务是不可用的，可是服务状态是Runing的，因此，这里启用两个副本，每次更新一个，等待一个服务启动完成后，在执行另外一个更新，主要目的是为了，无缝的升级系统，具体update_config.delay设置为多少能够参考tomcat的启动时间

Tomcat started on port(s): 8081 (http) with context path ''
Started DemoDockerApplication in 17.292 seconds (JVM running for 18.745)

注意：若是有多个同名images，最后一次编译的会被加tag :latest，push时要加上

docker push registry.cn-beijing.aliyuncs.com/ejiyuan/demo-docker:latest

2，更新节点数目

docker service scale test_demo-docker=3

运行结果：

3，添加或者更新一个对外端口

docker service update -–publish-add 8090 test_demo-docker

结果以下

七，更新节点

docker node update [OPTIONS] NODE [flags]

参数：

--availability 节点的可用性(有效/暂停/耗尽)
--label-add 添加或更新节点标签(key = value)
--label-rm 删除节点标签(若是存在)
--role 节点的做用(worker / manager)

NODE：节点名称可使用 “docker info” 查看获得

执行下面语句查看节点详情

docker node inspect atv61b72x9qa5dpbrew2n016g

该命令只会更改角色，部分权限并无当即更新，所以执行服务操做时有可能提示该错误Error response from daemon: rpc error: code = DeadlineExceeded desc = context deadline exceeded

当即生效更新节点为manger 执行

docker node promote NODE [NODE...]

七，经常使用命令

经常使用命令

docker swarm 命令用于管理 Swarm 群集

命令	描述
docker swarm init	初始化一个 swarm 群集
docker swarm join	加入群集做为节点或管理器
docker swarm join-token	管理用于加入群集的令牌
docker swarm leave	离开 swarm 群集
docker swarm unlock	解锁 swarm 群集
docker swarm unlock-key	管理解锁钥匙
docker swarm update	更新 swarm 群集

docker node 命令用于管理 Swarm 群集中的机器节点

命令	描述
docker node demote	从 swarm 群集管理器中降级一个或多个节点
docker node inspect	显示一个或多个节点的详细信息
docker node ls	列出 swarm 群集中的节点
docker node promote	将一个或多个节点推入到群集管理器中
docker node ps	列出在一个或多个节点上运行的任务，默认为当前节点
docker node rm	从 swarm 群集删除一个或多个节点
docker node update	更新一个节点

docker service 命令用于管理服务

命令	描述
docker service create	建立服务
docker service inspect	显示一个或多个服务的详细信息
docker service logs	获取服务的日志
docker service ls	列出服务
docker service rm	删除一个或多个服务
docker service scale	设置服务的实例数量
docker service update	更新服务
docker service rollback	恢复服务至update以前的配置

七，注意：

若是一台机器启用多个服务注意，合理分配cpu与内存资源，因tomcat在启动编译时会很吃内存，且docker是多线程启动的，全部最好是限定一下（设置resources.limits）否者会致使内存在同一时刻用光，某些服务启动失败固然也但是设置出错重启（restart_policy.condition:on-failure），另外设置resources.reservations要注意，不要超出总内存或cpu百分比，否者会致使后面服务没法获取cpu或内存资源出现“no suitable node (insufficien”错误（这个错误很奇怪，某个service不启动，也不输出日志，使用“docker stack ps [xxxx]”查看状态会显示此错误）没法启动

八，参考

Docker swarm搭建总结

Docker 三剑客之 Docker Swarm

使用 Docker Swarm 管理 Docker 集群

如何滚动更新 Service？- 天天5分钟玩转 Docker 容器技术（102）

Docker 小记 — 微信斗牛棋牌源码搭建Compose & Swarm

Docker swarm - 使用体验 1+2

docker node update命令

Docker(六)：Docker 三剑客之 Docker Swarm

Docker 引擎的 Swarm 模式：入门教程