墙裂推荐!看彻底面掌握,最详细的 Docker 学习笔记总结(2021最新版)

Docker 是什么?

Docker 是一个开源的容器引擎,能够轻松的为任何应用建立一个轻量级的、可移植的、自给自足的容器。开发者和系统管理员在笔记本上编译测试经过的容器能够批量地在生产环境中部署,包括 VMs(虚拟机)、bare metal、OpenStack 集群、云端、数据中心和其余的基础应用平台。容器是彻底使用沙箱机制,相互之间不会有任何接口。php

为啥要用Docker?

为啥要用Docker?这要从目前软件行业的痛点来说起html

  • 一、软件更新发布及部署低效,过程繁琐且须要人工介入
  • 二、环境一致性难以保证
  • 三、不一样环境之间迁移成本过高

有了Docker能够很大程度解决上面的问题。java

首先,Docker的使用简单至极,从开发的角度来看就是三步走:构建,运输,运行。其中关键步骤就是构建环节,即打包镜像文件。可是从测试和运维的角度来看,那就只有两步:复制,运行。有了这个镜像,那么想复制到哪运行均可以,彻底和平台无关了。同时Docker这种容器技术隔离出了独立的运行空间,不会和其余应用争用系统资源了以及还不须要考虑应用之间相互影响,想一想就开心。node

其次,由于在构建镜像的时候就处理完了服务程序对于系统的全部依赖,因此在你使用的时候,你能够忽略掉本来程序的依赖以及开发语言。对测试和运维而言,更多专一于本身的业务内容上。python

最后,Docker于开发者而言提供了一种开发环境的管理办法,与测试人员而言保证了环境的同步,于运维人员提供了可移植的标准化部署流程。mysql

Docker 能干啥?

  • 构建容易分发简单
  • 隔离应用解除依赖
  • 快速部署测完就销

Docker的应用场景在哪??

  1. 本地依赖(Local Dependency)

你须要在本地系统快速尝试 Magento,或者为一个项目使用 MySQL?仍是但愿尝试大部分开源项目?那就使用 Docker 吧,它将帮你节省大量时间。Docker 能提高开发者的开发效率,让咱们快速搭建开发环境。 linux

开发环境的机器一般内存比较小,此前使用虚拟的时候,常常须要为开发环境的机器加内存,而经过 Docker 能够轻易的让几十个服务在 Docker 中跑起来。nginx

  1. 搭建环境(Build Environment)

若是你但愿构建源码,但发现没有准备好合适的环境。 git

那么使用 Docker是一个值得考虑的方案。毕竟若是使用传统的方法一个一个地安装软件,一大堆软件安装下来确实十分费时间,使用容器技术省时省力,何乐而不为?它能让你将运行环境和配置放在代码中而后部署,同一个 Docker 的配置能够在不一样的环境中使用,这样就下降了硬件要求和应用环境之间耦合度。这里有一个值得一看的例子: docker golang builder。github

  1. 微服务(Microservices)

你在使用微服务吗?微服务架构将一个总体式的应用拆分红松耦合的单个服务。

那不妨考虑一下 Docker,你能够将每一个服务打包为一个docker镜像并使用docker-compose 来模拟生产环境(checkout docker networks)。最开始实践的时候可能会比较费时费力,但长远地来看,最终将产生巨大的生产力。

  1. 自动测试(Automated testing)

试想这样一个问题,如何编写自动化的集成测试用例,这些测试用例无需花很长时间来开始运行,使用者也可轻松管理。这里不是指在 Docker 中运行测试用例,而是将测试用例与镜像紧密运行在一块儿。当你针对一个 docker 镜像编写测试用例时会有一个很大的优点。下面简单介绍一下个人测试流程:运行两个 docker 镜像(app + db),在 MySQL 启动时加载数据,并在 app docker 上使用 API。可查看此脚本以获取快速的示例。

  1. 部署过程(Deployment process)

你能够使用 docker 镜像进行自我部署。许多主流的主机提供商都支持托管 docker,若是你拥有一个具备 shell 访问权限的专用节点/vm,那么事情将变得更容易。只须要设置好docker,并在你想要的端口上运行你的镜像便可。

  1. 持续部署(Continuous Deployment)

都说 Docker 天生适合持续集成/持续部署,在部署中使用Docker,持续部署将变得很是简单,并会在进入新的镜像后从新开始。关于这个部分的自动化工做,如今已经有许多方案以供选择,Kubernetes就是一个耳熟能详的名字。Kubernetes是容器集群管理系统,是一个开源的平台,能够实现容器集群的自动化部署、自动扩缩容、维护等功能。

  1. 多租户环境(Multi-tenancy)

Docker 有意思的一个使用场景是在多租户的应用中,它能够避免关键应用的重写。若是你将应用程序服务公开给多个租户(租户指一组用户,例如组织),使用单租户方案设计的应用程序若是用上了 sub-domain + docker 能够快速得到提供多租户的服务。
关于这个场景的一个例子是为物联网的应用开发一个快速、易用的多租户环境。这种多租户的基本代码很是复杂,很难处理,从新规划这样一个应用不但消耗时间,也浪费金钱。使用Docker,能够为每个租户的应用层的多个实例建立隔离的环境,这不只简单并且成本低廉,固然这一切得益于 Docker 环境的启动速度和其高效的 diff 命令。

  1. 来自一台机器的多个 APP(Multiple apps from one machine)

这与上面提到的微服务有些联系,但即便你没有使用微服务,只是提供服务,Docker仍能够很好地管理单个机器上的全部服务。你应该使用文件夹挂载来为每一个基于数据的 docker 镜像保留数据。

  1. 扩容 QPS(Scaling QPS)

Docker 经过建立另外一个容器来帮助你轻松地进行水平扩展。若是遇到巨大的高峰流量,Docker能够帮助你解决问题 —— 只需添加更多的机器并增长负载均衡器背后运行的容器数量。

想全面了解的朋友能够参考:太全了|万字详解Docker架构原理、功能及使用

Docker与Openstack对比

Docker 生态概览

Docker安装

root@centos7 ~]# yum install docker -y
[root@centos7 ~]# systemctl start docker

下载镜像文件

[root@centos7 ~]# docker pull centos:latest
Trying to pull repository docker.io/library/centos ... 
centos7: Pulling from docker.io/library/centos
93857f76ae30: Pull complete 
Digest: sha256:4eda692c08e0a065ae91d74e82fff4af3da307b4341ad61fa61771cc4659af60
[root@centos7 ~]# docker images
REPOSITORY        TAG      IMAGE ID     CREATED     SIZE
docker.io/centos  centos7  a8493f5f50ff 3 days ago  192.5 MB

删除镜像

[root@centos7 ~]# docker rmi a8493f5f50ff    ##容器ID

Docker容器建立与管理

1)建立容器

方法一:

[root@centos7 ~]# docker run centos /bin/echo "nihao"  ##建立容器
nihao
[root@centos7 ~]# docker ps -a   ##查看全部容器
CONTAINER ID  IMAGE  COMMAND   CREATED    STATUS   PORTS    NAMES
3c113f9a4f1b centos "/bin/echo nihao" 43 seconds ago Exited (0) 41 seconds ago  boring_liskov

这里没有指定容器名称,自动命名,状态是自动退出

方法二:建立一个自定义名称的容器

[root@centos7 ~]# docker run --name mgg -t -i centos /bin/bash
                              名称  分配伪终端  -i 处于打开状态
[root@2db7f1389dbd /]# ps -ef
UID   PID  PPID  C STIME TTY  TIME CMD
root   1    0  0 22:46 ?   00:00:00 /bin/bash
root   13   1  0 22:49 ?  00:00:00 ps -ef
[root@centos7 ~]# docker ps
CONTAINER ID  IMAGE   COMMAND   CREATED   STATUS  PORTS    NAMES
2db7f1389dbd  centos  "/bin/bash"  4 minutes ago   Up 4 minutes   mgg

docker ps -a是显示全部容器包括没有运行的(同virsh list --all)

2)进入、退出、启动容器

[root@2db7f1389dbd /]# exit   ##退出容器
exit
[root@centos7 ~]# docker start 2db7f1389dbd   ##启动容器
2db7f1389dbd
[root@centos7 ~]# docker attach 2db7f1389dbd  ##进入容器(必须是启动状态下)
[root@2db7f1389dbd /]# hostname
2db7f1389dbd

这种进入方式,退出后容器就进入Down状态,以下

[root@2db7f1389dbd /]# exit
exit
[root@centos7 ~]# docker ps
CONTAINER ID   IMAGE  COMMAND   CREATED    STATUS    PORTS   NAMES

3)使用nsenter命令进入容器

[root@centos7 ~]# nsenter --help
Usage:
 nsenter [options] <program> [<argument>...]
Run a program with namespaces of other processes.
Options:
 -t, --target <pid>     target process to get namespaces from
 -m, --mount[=<file>]   enter mount namespace
 -u, --uts[=<file>]     enter UTS namespace (hostname etc)
 -i, --ipc[=<file>]     enter System V IPC namespace
 -n, --net[=<file>]     enter network namespace
 -p, --pid[=<file>]     enter pid namespace
 -U, --user[=<file>]    enter user namespace
 -S, --setuid <uid>     set uid in entered namespace
 -G, --setgid <gid>     set gid in entered namespace
     --preserve-credentials do not touch uids or gids
 -r, --root[=<dir>]     set the root directory
 -w, --wd[=<dir>]       set the working directory
 -F, --no-fork          do not fork before exec'ing <program>
 -Z, --follow-context   set SELinux context according to --target PID
 -h, --help     display this help and exit
 -V, --version  output version information and exit

获取容器的PID

[root@centos7 ~]# docker inspect --format "{{.State.Pid}}" 2db7f1389dbd 
4580
[root@centos7 ~]# nsenter -t 4580 -u -i -n -p
[root@2db7f1389dbd ~]# hostname
2db7f1389dbd
[root@2db7f1389dbd ~]# exit
logout
[root@centos7 ~]# docker ps
CONTAINER ID  IMAGE    COMMAND    CREATED    STATUS   PORTS  NAMES
2db7f1389dbd  centos    "/bin/bash" 22 minutes ago   Up 7 minutes  mgg

4)删除容器

[root@centos7 ~]# docker ps -a
CONTAINER ID   IMAGE  COMMAND   CREATED     STATUS    PORTS    NAMES
2db7f1389dbd  centos  "/bin/bash"  31 minutes ago  Up 16 minutes  mgg
3c113f9a4f1b  centos  "/bin/echo nihao" 38 minutes ago Exited (0) 38 minutes ago boring_liskov
[root@centos7 ~]# docker rm 3c113f9a4f1b  ##接名称也能够,删除一个中止的容器
3c113f9a4f1b
[root@centos7 ~]# docker rm -f   3c113f9a4f1b ##删除一个正在运行的容器
[root@centos7 ~]# docker ps -a          
CONTAINER ID  IMAGE   COMMAND    CREATED    STATUS    PORTS   NAMES
2db7f1389dbd    centos    "/bin/bash"    31 minutes ago   Up 16 minutes  mgg
[root@centos7 ~]# docker run --rm centos /bin/echo "hello"   ##建立时自动删除,用于测试
[root@centos7 ~]#docker --kill $(docker ps -a -q)            ##删除正在运行的容器

Docker网络模式

Dokcer 经过使用 Linux 桥接提供容器之间的通讯,Docker的网络模式有四种

分别是如下四种模式:

  • host 模式,使用--net=host 指定。
  • container 模式,使用--net=container:NAMEorID 指定。
  • none 模式,使用--net=none 指定。
  • bridge 模式,使用--net=bridge 指定,默认配置
  • host 模式

若是容器使用 host 模式,那么容器将不会得到一个独立的 Network Namespace,而是和宿主机共用一个 Network Namespace。容器将不会虚拟出本身的网卡与配置 IP 等,而是使用宿主机的 IP 和端口。就和直接跑在宿主机中同样。可是容器的文件系统、进程列表等仍是和宿主机隔离的。

  • container 模式

这个模式指定新建立的容器和已经存在的一个容器共享一个 Network Namespace,而不是和宿主机共享。新建立的容器不会建立本身的网卡与配置 IP,而是和一个指定的容器共享 IP、端口范围等。一样,两个容器除了网络方面,其余方面仍然是隔离的。

  • none模式

此模式不一样于前两种,Docker 容器有本身的 Network Namespace,可是,Docker容器没有任何网络配置。而是须要咱们手动给 Docker容器添加网卡、配置 IP 等。

  • bridge 模式

此模式是Docker默认的网络设置,此模式会为每个容器分配Network Namespace,并将一个主机上的Docker容器链接到一个虚拟网桥上。

更多关于Docker容器网络介绍请参考:Docker容器网络-基础篇Docker容器网络-实现篇

Docker数据存储

docker管理数据的方式有两种:

  • 数据卷
  • 数据卷容器

默认容器的数据是保存在容器的可读写层,当容器被删除时其上的数据也会丢失,因此为了实现数据的持久性则须要选择一种数据持久技术来保存数据。官方提供了三种存储方式:Volumes、Bind mounts和tmpfs。

数据存储方式

从如今开始,咱们学习 Docker 容器的数据存储方式,你也能够先了解一下Docker 数据持久化的三种方案

Bind mount 会覆盖容器中的文件,而 volume mount 则不会。即若是容器中已有文件,则会将文件同步到主机的目录上。此方式与 Linux 系统的 mount 方式很类似,便是会覆盖容器内已存在的目录或文件,但并不会改变容器内原有的文件,当 umount 后容器内原有的文件就会还原。

数据卷(Volumes)

  • docker建立和管理,且与主机的核心功能隔离

  • 不管是命名仍是匿名数据卷,都存储在/var/lib/docker/volumes/下面
  • 定义的数据卷能够在多个容器中同时使用,且不会自动删除
  • 容许容器将内容保存到远端、云服务提供商、加密内容等等

挂在主机目录(Bind mounts)

  • 与数据卷相比,挂在主机目录具备有限的功能
  • 应用的文件或者目录事先不须要存在,用时会自动建立
  • 该方式容许访问容器的敏感文件,可能会产生安全隐患

内存映射(tmpfs)

  • 仅存储在容器的内存中,永远不会写入文件系统
  • swarm服务使用tmpfs挂载将敏感信息挂载到容器中

数据卷 - volumes

数据卷是存储在 Docker 容器的特定目录下面

优点说明

Docker Volumes 机制一般用来给 Docker 容器保存持久化数据,使用 Volumes 有不少优点:

  • 更容易进行备份和数据迁移
  • 使用 Docker CLI 命令或者 Docker API 来管理
  • 能够在 Linux 和 Windows 操做系统上使用
  • 能够更安全得在多个容器中共享
  • Volume drivers 容许容器将内容保存到远端、云服务提供商、加密 volume 内容
  • 新 Volume 的内容能够被容器预先填充

Volumes 一般也优于容器的可写层,使用 Volumes 不会增长容器的体积,而且 Volumes 的内容存储在外部独立于容器的生命周期。若是容器不产生持久化数据,能够考虑使用 tmpfs 内存映射(只保存在容器的内存中)的方式来避免数据存储在其余可能的地方,避免增长容器的体积。

使用说明

最开始的时候 -v 或者 --volume 选项是给单独容器使用,而 --mount 选项是给集群服务使用。可是从 Docker 17.06 开始,也能够在单独容器上使用 --mount。一般来说 --mount 选项也更加具体和详细。-v 选项将全部选项集中到一个值,而 --mount 选项将可选项分开。若是须要指定 volume driver 选项,那么必须使用 --mount 选项。

# 建立一个数据卷
$ docker volume create my-vol

# 查看全部的数据卷
$ docker volume ls

# 查看指定数据卷的信息
$ docker volume inspect my-vol
[
    {
        "Driver": "local",
        "Labels": {},
        "Mountpoint": "/var/lib/docker/volumes/my-vol/_data",
        "Name": "my-vol",
        "Options": {},
        "Scope": "local"
    }
]

# 移除指定数据卷的
$ docker volume rm my-vol

# 清除无主的数据卷
$ docker volume prune
# 启动一个挂载数据卷的容器
$ docker run -d -P --name web \
    -v my-vol:/wepapp \
    training/webapp python app.py

$ docker run -d -P --name web \
    --mount source=my-vol,target=/webapp \
    training/webapp python app.py

# 启动一个挂载数据卷的服务
$ docker service create -d --name devtest-service \
    --mount source=myvol2,target=/app \
    nginx:latest
# 挂载为只读模式
$ docker run -d --name=nginxtest \
    -v nginx-vol:/usr/share/nginx/html:ro \
    nginx:latest

# type能够分为bind、volume、tmpfs, 默认为volume
# source用于设置数据卷的名称,匿名数据卷能够省略
# target表示须要挂载到容器里面的地方
# readonly表示挂载的内容为只读模式,可选
# volume-opt表示能够使用屡次,可选
$ docker run -d --name=nginxtest \
    --mount source=nginx-vol,destination=/usr/share/nginx/html,readonly \
    nginx:latest
[3] 挂载远程数据卷
# 插件sshfs容许您轻松地在容器中挂载远程文件夹

# 下载该插件
$ docker plugin install --grant-all-permissions vieux/sshfs

# 使用该驱动建立ssh数据卷
$ docker volume create --driver vieux/sshfs \
    -o sshcmd=test@node2:/home/test \
    -o password=testpassword \
    -o port=3336 \
    sshvolume

# 启动该驱动程序建立卷建立容器
# 若是两个容器配置了可信关系,就不须要设置volume-opt密码了
$ docker run -d \
    --name sshfs-container \
    --volume-driver vieux/sshfs \
    --mount src=sshvolume,target=/app, \
    volume-opt=sshcmd=test@node2:/home/test,volume-opt=password=testpassword \
    nginx:latest

挂载主机目录 - bind mounts

挂载主机目录是将主机中的特定目录直接挂在到容器内部使用

使用说明
# 使用bind模式启动容器
$ docker run -d -it --name devtest \
    -v "$(pwd)"/target:/app \
    nginx:latest

$ docker run -d -it --name devtest \
    --mount type=bind,source="$(pwd)"/target,target=/app \
    nginx:latest

# 看下对应的信息
$ docker inspect devtest
"Mounts": [
    {
        "Type": "bind",
        "Source": "/tmp/source/target",
        "Destination": "/app",
        "Mode": "",
        "RW": true,
        "Propagation": "rprivate"
    }
]

# 挂载为只读模式
$ docker run -d -it --name devtest \
    -v "$(pwd)"/target:/app:ro \
    nginx:latest

$ docker run -d -it --name devtest \
    --mount type=bind,source="$(pwd)"/target,target=/app,readonly \
    nginx:latest

特殊属性

$ docker run -d -it --name devtest \
    -v "$(pwd)"/target:/app \
    -v "$(pwd)"/target:/app2:ro,rslave \
    nginx:latest

$ docker run -d -it --name devtest \
    --mount type=bind,source="$(pwd)"/target,target=/app \
    --mount type=bind,source="$(pwd)"/target,target=/app2,readonly,bind-propagation=rslave \
    nginx:latest

内存映射 - tmpfs

内存映射是将内存映射到容器内供容器内部使用

优点说明

最开始 --tmpfs 是给单独容器使用,而 --mount 选项是给 swarm 集群服务使用的。可是,从 Docker 17.06 开始,也能够在单独容器上使用 --mount 了。一般说来,--mount 更明确,更冗长。最大的区别是 --tmpfs 标志不支持任何可配置选项。其中 --tmpfs 只能在容器中使用,而 swarm 集群则必须使用 --mount 来使用 tmpfs 内存映射。

使用说明

# 容器上使用
$ docker run -d -it --name tmptest \
    --tmpfs /app \
    nginx:latest

$ docker run -d -it --name tmptest \
    --mount type=tmpfs,destination=/app \
    nginx:latest

日志驱动 - logs

在容器外部查看容器内部的日志输出状况,便于排除和监控问题

能够利用 docker logs 命令,查看 Docker 容器内部应用程序运行时所产生的日志。能够免除首先进入 Docker 容器,再打开应用程序的日志文件的过程。docker logs 会监控容器中操做系统的标准输出设备(STDOUT),一旦 STDOUT 有数据产生,就会将这些数据传输到另外一个设备中,则被称为日志驱动(Logging Driver)。

# 动态查看日志内容
$ docker logs -f netdata
Docker 是怎样作到的呢?咱们使用 docker info 命令,能够看到 Docker 容器的相关信息,其中有一项 Logging Driver 的字段。

# 当前所设置的日志驱动类型
$ docker info | grep 'Logging Driver'
Logging Driver: json-file

咱们能够在 docker run 命令中经过 --log-driver 参数来设置具体的 Docker 日志驱动,也能够经过 --log-opt 参数来指定对应日志驱动的相关选项。

docker run -d -p 80:80 --name nginx \    
--log-driver json-file \ # 设置日志驱动    
--log-opt max-size=10m \ # 表示JSON文件最大为10MB,超过则生成新的文件    
--log-opt max-file=3 \   # 表示JSON文件最多保存3个,超过则删除多余文件    
nginx
# 固然,能够在配置文件中添加,全局生效
$ cat /etc/docker/daemon.json
{
  "log-driver": "syslog"
}

# 修改配置以后重启服务
$ sudo systemctl restart docker

额外,须要注意的是,默认状况下,Docker 将日志存储到一个日志文件。

# 检查日志文件路径
$ docker inspect --format='{{.LogPath}}' netdata
/var/lib/docker/containers/556553bcb5xxx13cbc588a4-json.log

# 查看实时日志信息
$ tail -f `docker inspect --format='{{.LogPath}}' netdata`

上述内容参考: https://escapelife.github.io/...

Docker Command 介绍

安装完成docker容器服务以后,须要了解如何操做它?在shell命令行下直接输入docker就能够查看帮助信息,以下。

[root@master ~]# docker
Usage:    docker COMMAND
A self-sufficient runtime for containers

Options:
      --config string      Location of client config files (default "/root/.docker")
  -D, --debug              Enable debug mode
      --help               Print usage
  -H, --host list          Daemon socket(s) to connect to (default [])
  -l, --log-level string   Set the logging level ("debug", "info", "warn", "error", "fatal") (default "info")
      --tls                Use TLS; implied by --tlsverify
      --tlscacert string   Trust certs signed only by this CA (default "/root/.docker/ca.pem")
      --tlscert string     Path to TLS certificate file (default "/root/.docker/cert.pem")
      --tlskey string      Path to TLS key file (default "/root/.docker/key.pem")
      --tlsverify          Use TLS and verify the remote
  -v, --version            Print version information and quit

Management Commands:
  container   Manage containers
  image       Manage images
  network     Manage networks
  node        Manage Swarm nodes
  plugin      Manage plugins
  secret      Manage Docker secrets
  service     Manage services
  stack       Manage Docker stacks
  swarm       Manage Swarm
  system      Manage Docker
  volume      Manage volumes

Commands:
  attach      Attach to a running container
  build       Build an image from a Dockerfile
  commit      Create a new image from a container's changes
  cp          Copy files/folders between a container and the local filesystem
  create      Create a new container
  diff        Inspect changes on a container's filesystem
  events      Get real time events from the server
  exec        Run a command in a running container
  export      Export a container's filesystem as a tar archive
  history     Show the history of an image
  images      List images
  import      Import the contents from a tarball to create a filesystem image
  info        Display system-wide information
  inspect     Return low-level information on Docker objects
  kill        Kill one or more running containers
  load        Load an image from a tar archive or STDIN
  login       Log in to a Docker registry
  logout      Log out from a Docker registry
  logs        Fetch the logs of a container
  pause       Pause all processes within one or more containers
  port        List port mappings or a specific mapping for the container
  ps          List containers
  pull        Pull an image or a repository from a registry
  push        Push an image or a repository to a registry
  rename      Rename a container
  restart     Restart one or more containers
  rm          Remove one or more containers
  rmi         Remove one or more images
  run         Run a command in a new container
  save        Save one or more images to a tar archive (streamed to STDOUT by default)
  search      Search the Docker Hub for images
  start       Start one or more stopped containers
  stats       Display a live stream of container(s) resource usage statistics
  stop        Stop one or more running containers
  tag         Create a tag TARGET_IMAGE that refers to SOURCE_IMAGE
  top         Display the running processes of a container
  unpause     Unpause all processes within one or more containers
  update      Update configuration of one or more containers
  version     Show the Docker version information
  wait        Block until one or more containers stop, then print their exit codes

命令不少,重点介绍这20个,请详细阅读下面的文章:

这20个Docker Command,有几个是你会的?

Docker file

Docker file简单介绍

Docker能够使用Dockerfile的内容来自动构建镜像。Dockerfile也是一个文件,其中有建立镜像、运行指令等一系列的命令,且每行只支持一个运行命令。

Docker file分为四部分组成:

  • 基础镜像信
  • 维护者信息
  • 镜像操做指令
  • 容器启动时执行指令

dockerfile指令忽略大小写,建议大写,#做为注释,每行只支持一条指令,指令能够带多个参数。

dockerfile指令有:

  • 构建指令:用于构建image,其指定的操做不会在运行image的容器中执行。
  • 设置指令:用于设置image的属性,其指定的操做会在运行image的容器中执行。

Dockerfile指令

Dockerfile指令一共有如下种:

  • 一、FROM

用来指定基础镜像,而后经过在基础镜像上构建新的镜像,基础镜像通常有远程或本地仓库。而且Dockerfile文件第一行必须的FROM指令,若是一个Dockerfile须要建立多个镜像,能够使用多个FROM指令。

#具体使用用法以下:
FROM < image_name >   #默认是latest版本
FROM <image:version>  #指定版本
  • 二、MAINTAINER

指定镜像的建立者信息

#具体使用法以下:
MAINTAINER < name >
  • 三、RUN

运行全部基础镜像能支持的命令,一样也能够使用多条RUN指令,能够使用\来换行

#具体使用法以下:
RUN < command >
RUN ["executable", "param1", "param2" ... ] (exec form)
  • 四、CMD

用于容器启动时的指定操做,它能够是命令,也能够是脚本,但只执行一次,若是有多少默认只会执行最后一个。

#具体使用法以下:
CMD [“executable” ,”Param1”, “param2”]使用exec执行,推荐 
CMD command param1 param2,在/bin/sh上执行 
CMD [“Param1”, “param2”] 提供给ENTRYPOINT作默认参数。
  • 五、EXPOSE

指定容器的端口映射(容器与物理机),运行容器时加上-p参数指定EXPOSE设置的端口。EXPOSE能够设置多个端口号,相应地运行容器配套屡次使用-p参数。能够经过docker port +容器须要映射的端口号和容器ID来参考宿主机的映射端口。

#具体使用法以下:
EXPOSE <port> [port1 , port2 ............]
  • 六、ENV

在镜像中用于设置环境变量的,而后RUN命令能够使用此设置的环境变量,在容器启动后也以经过docker inspect查看环境变量,能够经过docker run --env key=value来设置或修改环境变量。

#具体使用法以下:
ENV <key> <value>
ENV JAVA_HOME /usr/local/jdk
  • 七、ADD

复制指定的源文件、目录、URL到容器的指定目录中。全部拷贝到container中的文件和文件夹权限为0755,uid和gid为0。

若是源是一个目录,那么会将该目录下的全部文件添加到container中,不包括目录;

若是源文件是可识别的压缩格式,则docker会帮忙解压缩(注意压缩格式);

若是源是文件且目标目录中不使用斜杠结束,则会将目标目录视为文件,源的内容会写入目标目录;

若是源是文件且目标目录中使用斜杠结束,则会源文件拷贝到目标目录下。

#具体使用法以下:
ADD <源> <目标>
  • 八、COPY

复制本地主机的源(默认为Dockerfile所在的目录)到容器中的目标中,目标路径不存在时会自动建立。

#具体使用法以下:
COPY <源> <目标>
COPY web/index.html  /var/web/
  • 路径必须是绝对路径,若是不存在,会自动建立对应目录
  • 路径必须是Dockerfile 所在路径的相对路径
  • 若是是一个目录,只会复制目录下的内容,而目录自己则不会被复制
  • 九、ENTRYPOINT

指定容器启动后执行的命令,多行只执行最后一行。而且不可被docker run提供的参数覆盖。

#具体使用法以下:
ENTRYPOINT "command" "param1" "param2"
  • 十、VOLUME

建立一个能够从本地主机或其它容器挂载的挂载点,通常用于存放数据。与docker run -v也能够实现此功能。

#具体使用法以下:
VOLUME  [directory_name]
VOLUME /docker_data
  • 十一、USER

指定容器运行时使用的用户或UID,后面RUN、CMD、ENTRYPIONT都会使用此用户来运行命令。

#具体使用法以下:
USER [username/uid]
  • 十二、WORKDIR

指定RUN、CMD、ENTRYPIONT指定的命令的运行目录。能够使用多个WORKDIR指令,后续参数若是是相对路径,则会基于以前的命令指定的路径。如:WORKDIR /data WORKDIR work。最终的路径就是/data/work。path路径也能够是环境变量。

#具体使用方法以下:
WORKDIR [path]
  • 1三、ONBUILD

配置当前所建立的镜像做为其它新建立镜像的基础镜像时,所执行的操做指令。就是,这个镜像建立后,若是其它镜像以这个镜像为基础,会先执行这个镜像的ONBUILD命令。

#具体使用法以下:
ONBUILD [INSTRUCTION]

经过Dockerfile快速构建镜像

接下来,咱们经过构建一个Tomcat镜像,来演示Dockerfile的使用方法,前提是安装Docker环境,如何安装Docker环境就不在此赘述了。请猛戳下面的文字:

[root@master tomcat]# ll
总用量 190504
-rw-r--r-- 1 root root   9552281 6月   7 15:07 apache-tomcat-8.5.31.tar.gz
-rw-r--r-- 1 root root        32 7月   3 09:41 index.jsp
-rw-r--r-- 1 root root 185515842 9月  20 2017 jdk-8u144-linux-x64.tar.gz
[root@master tomcat]# cat index.jsp 
welcome to mingongge's web site
[root@master tomcat]# pwd
/root/docker/tomcat
[root@master tomcat]# vim Dockerfile
#config file start#
FROM centos
MAINTAINER mingongge <微信公众号:民工哥技术之路>

#add jdk and tomcat software
ADD jdk-8u144-linux-x64.tar.gz /usr/local/
ADD apache-tomcat-8.5.31.tar.gz /usr/local/
ADD index.jsp /usr/local/apache-tomcat-8.5.31/webapps/ROOT/

#config java and tomcat ENV
ENV JAVA_HOME /usr/local/jdk1.8.0_144
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV CATALINA_HOME /usr/local/apache-tomcat-8.5.31/
ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/bin

#config listen port of tomcat
EXPOSE 8080

#config startup command of tomcat
CMD /usr/local/apache-tomcat-8.5.31/bin/catalina.sh run

#end of config-file#

构建过程

[root@master tomcat]# docker build -t tomcat-web . #这个.不用注释了吧相信懂的人天然懂的
Sending build context to Docker daemon 195.1 MB
Step 1/11 : FROM centos
 ---> 49f7960eb7e4
Step 2/11 : MAINTAINER mingongge <微信公众号:民工哥技术之路>
 ---> Running in afac1e218299
 ---> a404621fac22
Removing intermediate container afac1e218299
Step 3/11 : ADD jdk-8u144-linux-x64.tar.gz /usr/local/
 ---> 4e22dafc2f76
Removing intermediate container b1b23c6f202a
Step 4/11 : ADD apache-tomcat-8.5.31.tar.gz /usr/local/
 ---> 1efe59301d59
Removing intermediate container aa78d5441a0a
Step 5/11 : ADD index.jsp /usr/local/apache-tomcat-8.5.31/webapps/ROOT/
 ---> f09236522370
Removing intermediate container eb54e6eb963a
Step 6/11 : ENV JAVA_HOME /usr/local/jdk1.8.0_144
 ---> Running in 3aa91b03d2d1
 ---> b497c5482fe0
Removing intermediate container 3aa91b03d2d1
Step 7/11 : ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 ---> Running in f2649b5069be
 ---> 9cedb218a8df
Removing intermediate container f2649b5069be
Step 8/11 : ENV CATALINA_HOME /usr/local/apache-tomcat-8.5.31/
 ---> Running in 39ef620232d9
 ---> ccab256164fe
Removing intermediate container 39ef620232d9
Step 9/11 : ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/bin
 ---> Running in a58944d03d4a
 ---> f57de761a759
Removing intermediate container a58944d03d4a
Step 10/11 : EXPOSE 8080
 ---> Running in 30681437d265
 ---> b906dcc26584
Removing intermediate container 30681437d265
Step 11/11 : CMD /usr/local/apache-tomcat-8.5.31/bin/catalina.sh run
 ---> Running in 437790cc642a
 ---> 95204158ee68
Removing intermediate container 437790cc642a
Successfully built 95204158ee68

经过构建的镜像启动容器

[root@master tomcat]# docker run -d -p 8080:8080 tomcat-web
b5b65bee5aedea2f48edb276c543c15c913166bf489088678c5a44fe9769ef45
[root@master tomcat]# docker ps
CONTAINER ID   IMAGE        COMMAND                  CREATED        STATUS         PORTS                    NAMES
b5b65bee5aed   tomcat-web   "/bin/sh -c '/usr/..."   5 seconds ago  Up 4 seconds   0.0.0.0:8080->8080/tcp   vigilant_heisenberg

访问容器

浏览器输入http://server-ip:8080, 结果以下:

Docker三剑客

容器技术|Docker三剑客之Compose

容器技术|Docker三剑客之docker-machine

打造高逼格、可视化的Docker容器监控系统平台

私有镜像仓库搭建

当咱们执行docker pull xxx的时候,docker默认是从registry.docker.com这个地址上去查找咱们所须要的镜像文件,而后执行下载操做。这类的镜像仓库就是docker默认的公共仓库,全部人均可以直接查看或下载、使用,可是呢,基于网络缘由,下载速度有限制比较慢。所以,咱们在公司内部内网环境中使用dokcer,通常不会将镜像文件上传到公网公共库中。但内部共享使用就是个问题,因此,私有仓库就由此产生了。

什么是私有仓库?

私有仓库,就是本地(内网环境)组建的一个与公网公共库功能类似的镜像仓库。组建好以后,咱们就能够将打包好的镜像提交到私有仓库中,这样内网其它用户也能够使用这个镜像文件。

本文使用官方提供的registry镜像来组建企业内网的私有镜像仓库

环境介绍

两台安装好docker环境的主机

  • 服务端:192.168.3.82 私有仓库服务器在,运行registry容器
  • 客户端:192.168.3.83 测试客户端,用于上传、下载镜像文件

安装布署过程

下载官方registry镜像文件

[root@master ~]# docker pull registry
Using default tag: latest
Trying to pull repository docker.io/library/registry ... 
latest: Pulling from docker.io/library/registry
81033e7c1d6a: Pull complete 
b235084c2315: Pull complete 
c692f3a6894b: Pull complete 
ba2177f3a70e: Pull complete 
a8d793620947: Pull complete 
Digest: sha256:672d519d7fd7bbc7a448d17956ebeefe225d5eb27509d8dc5ce67ecb4a0bce54
Status: Downloaded newer image for docker.io/registry:latest
[root@master ~]# docker images |grep registry
docker.io/registry   latest  d1fd7d86a825   5 months ago  33.3 MB

运行registry容器

[root@master ~]# mkdir /docker/registry -p
[root@master ~]# docker run -itd -v /docker/registry/:/docker/registry -p 5000:5000 --restart=always --name registry registry:latest
26d0b91a267f684f9da68f01d869b31dbc037ee6e7bf255d8fb435a22b857a0e
[root@master ~]# docker ps
CONTAINER ID   IMAGE            COMMAND                  CREATED        STATUS        PORTS                    NAMES
26d0b91a267f   registry:latest  "/entrypoint.sh /e..."   4 seconds ago  Up 3 seconds  0.0.0.0:5000->5000/tcp   registry

参数说明

1)-itd:在容器中打开一个伪终端进行交互操做,并在后台运行;
2)-v:把宿主机的/docker/registry目录绑定到容器/docker/registry目录(这个目录是registry容器中存放镜像文件的目录),来实现数据的持久化;
3)-p:映射端口;访问宿主机的5000端口就访问到registry容器的服务了;
4)--restart=always:这是重启的策略,假如这个容器异常退出会自动重启容器;
5)--name registry:建立容器命名为registry,可自定义任何名称;
6)registry:latest:这个是刚才pull下来的镜像;

查看远程仓库镜像文件

[root@master ~]# curl http://localhost:5000/v2/_catalog
{"repositories":[]}

一样也能够使用浏览器访问http://server-ip:5000/v2/_cat... 结果相同,都是空的没有任何文件。

客户端操做

修改下载的镜像源

[root@slave1 ~]# vim /etc/docker/daemon.json
{
"registry-mirrors":["https://registry.docker-cn.com"]
}
[root@slave1 ~]# systemctl restart docker

下载测试镜像

[root@slave1 ~]# docker pull nginx
Using default tag: latest
Trying to pull repository docker.io/library/nginx ... 
latest: Pulling from docker.io/library/nginx
683abbb4ea60: Pull complete 
6ff57cbc007a: Pull complete 
162f7aebbf40: Pull complete 
Digest: sha256:636dd2749d9a363e5b57557672a9ebc7c6d041c88d9aef184308d7434296feea
Status: Downloaded newer image for docker.io/nginx:latest

给镜像打TAG

[root@slave1 ~]# docker tag nginx:latest 192.168.3.82:5000/nginx:v1
[root@slave1 ~]# docker images
REPOSITORY                TAG       IMAGE ID        CREATED       SIZE
192.168.3.82:5000/nginx   v1        649dcb69b782    8 hours ago   109 MB
docker.io/nginx           latest    649dcb69b782    8 hours ago   109 MB

上传镜像

[root@slave1 ~]# docker push 192.168.3.82:5000/nginx:v1
The push refers to a repository [192.168.3.82:5000/nginx]
Get https://192.168.3.82:5000/v1/_ping: http: server gave HTTP response to HTTPS client
#注意这里出现报错提示,从提示信息能够看出须要使用https的方式才能上传,解决方案以下:
[root@slave1 ~]# vim /etc/docker/daemon.json
{
"registry-mirrors":["https://registry.docker-cn.com"],
 "insecure-registries":["192.168.3.82:5000"]
}
#添加私有镜像服务器的地址,注意书写格式为json,有严格的书写要求,须要重启docker服务生效配置
[root@slave1 ~]# systemctl restart docker
[root@slave1 ~]# docker push 192.168.3.82:5000/nginx:v1
The push refers to a repository [192.168.3.82:5000/nginx]
6ee5b085558c: Pushed 
78f25536dafc: Pushed 
9c46f426bcb7: Pushed 
v1: digest: sha256:edad5e71815c79108ddbd1d42123ee13ba2d8050ad27cfa72c531986d03ee4e7 size: 948

从新查看镜像仓库

[root@master ~]# curl http://localhost:5000/v2/_catalog
{"repositories":["nginx"]}
[root@master ~]# curl http://localhost:5000/v2/nginx/tags/list
{"name":"nginx","tags":["v1"]}
#查看有哪些版本

测试下载

#首先删除客户端主机以前从公共库下载下来的镜像文件
[root@slave1 ~]# docker images
REPOSITORY                TAG      IMAGE ID        CREATED        SIZE
192.168.3.82:5000/nginx   v1       649dcb69b782    10 hours ago   109 MB
docker.io/nginx           latest   649dcb69b782    10 hours ago   109 MB
[root@slave1 ~]# docker image rmi -f 649dcb69b782
Untagged: 192.168.3.82:5000/nginx:v1
Untagged: 192.168.3.82:5000/nginx@sha256:edad5e71815c79108ddbd1d42123ee13ba2d8050ad27cfa72c531986d03ee4e7
Untagged: docker.io/nginx:latest
Untagged: docker.io/nginx@sha256:636dd2749d9a363e5b57557672a9ebc7c6d041c88d9aef184308d7434296feea
Deleted: sha256:649dcb69b782d4e281c92ed2918a21fa63322a6605017e295ea75907c84f4d1e
Deleted: sha256:bf7cb208a5a1da265666ad5ab3cf10f0bec1f4bcb0ba8d957e2e485e3ac2b463
Deleted: sha256:55d02c20aa07136ab07ab47f4b20b97be7a0f34e01a88b3e046a728863b5621c
Deleted: sha256:9c46f426bcb704beffafc951290ee7fe05efddbc7406500e7d0a3785538b8735
[root@slave1 ~]# docker images
REPOSITORY       TAG             IMAGE ID        CREATED         SIZE
#此时客户端全部的镜像文件所有删除
[root@slave1 ~]# docker pull 192.168.3.82:5000/nginx:v1
Trying to pull repository 192.168.3.82:5000/nginx ... 
v1: Pulling from 192.168.3.82:5000/nginx
683abbb4ea60: Pull complete 
6ff57cbc007a: Pull complete 
162f7aebbf40: Pull complete 
Digest: sha256:edad5e71815c79108ddbd1d42123ee13ba2d8050ad27cfa72c531986d03ee4e7
Status: Downloaded newer image for 192.168.3.82:5000/nginx:v1
[root@slave1 ~]# docker images
REPOSITORY                TAG     IMAGE ID       CREATED         SIZE
192.168.3.82:5000/nginx   v1      649dcb69b782   11 hours ago    109 MB
#能够看出,客户端已正常从远端服务器拉取到所须要的镜像文件,其它内网服务器也能够正常共享这台镜像服

以上步骤就是经过使用docker Registry快速搭建私有镜像仓库的过程与测试。我也其实也能够经过:利用 Harbor 搭建企业级私有镜像仓库

Docker可视化工具

Docker是一项很是流行的容器技术,如今在各行各业有着普遍的使用。不过如何管理Docker容器是一个问题,因此我今天向你们介绍两款Docker可视化工具,但愿对你们有所帮助。

Portainer

Portainer是一款Docker可视化管理工具,容许咱们在网页中方便的查看和管理Docker容器。

要使用Portainer很简单,运行下面两条命令便可。这些命令会建立一个Portainer专用的卷,而后在8000和9000端口建立容器并运行。

$ docker volume create portainer_data$ docker run --name portainer -d -p 8000:8000 -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer

而后在浏览器打开对应地址,就会发现成功运行了。第一次运行的时候须要设置帐号,而后选择要管理的Docker主机。

设置帐号

选择要管理的主机

以后就能够看到本机上运行的Docker容器了,点击它们还能够进行容器的管理。左边的条目能够管理卷、建立容器、查看主机信息等等。基本上该有的功能都有了,这也是我推荐的一个工具。

LazyDocker

LazyDocker是基于终端的一个可视化查询工具,支持键盘操做和鼠标点击。相比Portainer来讲可能不那么专业,不过对于开发者来讲可能反而更加好用了。由于通常开发者都是使用命令行来运行Docker,偶尔须要图形化查看的时候,就能够使用LazyDocker这个工具。

官网演示图

安装LazyDocker也很是简单,运行下面的命令便可。

docker run --rm -it -v \/var/run/docker.sock:/var/run/docker.sock \-v ~/.config/lazydocker:/.config/jesseduffield/lazydocker \lazyteam/lazydocker

固然若是发现LazyDocker挺好用,准备常用的话,还能够把它作成缩写添加到shell配置文件中,这样就能够将它变成一个简单的命令。例如我用的是zsh,就将下面这样添加到.zshrc文件中。之后就能够直接用lzd来调用LazyDocker了。

alias lzd='docker run --rm -it -v /var/run/docker.sock:/var/run/docker.sock -v ~/.config/lazydocker:/.config/jesseduffield/lazydocker lazyteam/lazydocker'

而后就能够在终端中查看Docker容器、镜像和卷的信息了。LazyDocker支持键盘操做和鼠标点击,直接用鼠标点击就能够查看对应信息了。

须要注意若是你的终端LazyDocker的图形显示的是乱的,不用担忧,只不过是显示字体的问题。从新设置一下终端字体就能够解决了。

以上内容来自:https://www.toutiao.com/i6780...

Docker 社区已经建立了许多开源工具,它们能帮咱们处理各类用例。做者在本文中推荐了 5 款认为最有用的 Docker 工具,分别是 Watchtower(自动更新 Docker 容器)、docker-gc(容器和镜像的垃圾回收)、docker-slim(容器瘦身)、 rocker:突破 Dockerfile 的限制,以及 ctop(容器的类顶层接口)。
Docker 社区已经建立了许多开源工具,它们所能帮你处理的用例甚至会超出你的想象。
你能够在网上找到不少酷炫的 Docker 工具,其中大部分是开源的,均可以在 Github 上找到。在过去的两年里,我很是热衷于 Docker,在大多数开发项目中都使用了它。当你开始使用 Docker 后,你会发现它适用的场景比你最初预想的还更多。你会但愿 Docker 尽量为你多作一点事,而它不会让你失望的!
Docker 社区很是活跃,天天都会出现许多有用的工具,时时关注社区中发生的全部创新是很困难的。为了帮助你,我收集了一些我在平常工做中使用的又有趣又实用的 Docker 工具,这些工具提高了个人工做效率,减小了本来须要手工完成的工做。

向你们推荐一些实用工具:你应该知道的5个开源Docker工具...,Docker 服务终端 UI 管理工具,你们最终根据本身的使用习惯与实际生产需求来选择合适本身的工具来管理Docker容器。

Docker容器监控系统

随着线上服务的全面docker化,对docker容器的监控就很重要了。SA的监控系统是物理机的监控,在一个物理机跑多个容器的状况下,咱们是无法从一个监控图表里面区分各个容器的资源占用状况的。

推荐你们看看这篇:打造高逼格、可视化的Docker容器监控系统平台

Docker 日志管理最佳实践

10 个冷门但又很是实用的 Docker 使用技巧

在平时的工做中,docker 接触得不少,除了常用的 docker run ,docker stop 等命令,docker 还有不少十分有用可是却不常用的命令,下面就来总结一下:

1. docker top

这个命令是用来查看一个容器里面的进程信息的,好比你想查看一个 nginx 容器里面有几个 nginx 进程的时候,就能够这么作:

docker top 3b307a09d20d
UID      PID    PPID    C    STIME  TTY    TIME       CMD
root     805    787     0    Jul13   ?   00:00:00  nginx: master process nginx -g daemon off;
systemd+ 941     805     0   Jul13    ?   00:03:18  nginx: worker process

2. docker load && docker save

我通常使用这两个命令去下载打包 Kubernetes 的镜像,由于你知道的国内的网速并不像国外那么快。

docker save 能够把一个镜像保存到 tar 文件中,你能够这么作:

~ docker save registry:2.7.1 >registry-2.7.1.tar
#同时 docker load 能够把镜像从 tar 文件导入到 docker 中
~ docker load < registry-2.7.1.tar

3. docker search

这个命令能够帮助你在命令行中方便的搜索 DockerHub 中的镜像,好比:

~ docker search nginx
NAME                               DESCRIPTION                                     STARS               OFFICIAL            AUTOMATED
nginx                              Official build of Nginx.                        13519               [OK]
jwilder/nginx-proxy                Automated Nginx reverse proxy for docker con…   1846                                    [OK]
richarvey/nginx-php-fpm            Container running Nginx + PHP-FPM capable of…   780                                     [OK]
linuxserver/nginx                  An Nginx container, brought to you by LinuxS…   123
bitnami/nginx                      Bitnami nginx Docker Image                      87                                      [OK]
tiangolo/nginx-rtmp                Docker image with Nginx using the nginx-rtmp…   85                                      [OK]
jc21/nginx-proxy-manager           Docker container for managing Nginx proxy ho…   73
alfg/nginx-rtmp                    NGINX, nginx-rtmp-module and FFmpeg from sou…   71                                      [OK]
nginxdemos/hello                   NGINX webserver that serves a simple page co…   57                                      [OK]
jlesage/nginx-proxy-manager        Docker container for Nginx Proxy Manager        53                                      [OK]
nginx/nginx-ingress                NGINX Ingress Controller for Kubernetes         37
......

固然这个功能在国内可能不会特别好用,由于......

4. docker events

这个命令能够帮助你实时获取 docker 的各类事件信息,好比建立了一个容器什么的。

~ docker events
2020-07-28T21:28:46.000403018+08:00 image load sha256:432bf69f0427b52cad10897342eaf23521b7d973566354118e9a59c4d31b5fae (name=sha256:432bf69f0427b52cad10897342eaf23521b7d973566354118e9a59c4d31b5fae)

5. docker update

当你 docker run 了以后却发现里面有一些参数并非你想要的状态好比你设置的 nginx 容器 cpu 或者内存过小,这个时候你就能够使用 docker update 去修改这些参数。

~ docker update nginx --cpus 2

6. docker history

当你修改了一个镜像,可是忘记了每一层的修改命令,或者你想查看一个镜像是怎么构建的时候就能够使用这个命令,好比:

~ docker history  traefik:v2.1.6
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
5212a87ddaba        5 months ago        /bin/sh -c #(nop)  LABEL org.opencontainers.…   0B
<missing>           5 months ago        /bin/sh -c #(nop)  CMD ["traefik"]              0B
<missing>           5 months ago        /bin/sh -c #(nop)  ENTRYPOINT ["/entrypoint.…   0B
<missing>           5 months ago        /bin/sh -c #(nop)  EXPOSE 80                    0B
<missing>           5 months ago        /bin/sh -c #(nop) COPY file:59a219a1fb7a9dc8…   419B
<missing>           5 months ago        /bin/sh -c set -ex;  apkArch="$(apk --print-…   52.9MB
<missing>           5 months ago        /bin/sh -c apk --no-cache add ca-certificate…   1.85MB
<missing>           6 months ago        /bin/sh -c #(nop)  CMD ["/bin/sh"]              0B
<missing>           6 months ago        /bin/sh -c #(nop) ADD file:a1906f14a4e217a49…   4.81MB

7. docker wait

这个命令能够查看容器的退出状态,好比:

~ docker wait 7f7f0522a7d0
0

这样你就能够知道这个容器是正常退出的仍是异常退出的了。

8. docker pause && docker unpause

当你运行了一个容器可是想要暂停它运行的时候,你就能够使用这个命令。

~ docker pause 7f7f0522a7d0

9. docker diff

当你运行了一个容器,可是你不知道容器里修改了哪一些文件的时候能够使用这个命令,好比:

~ docker diff 38c59255bf6e
C /etc
A /etc/localtime
C /var
C /var/lib
A /var/lib/registry

10. docker stats

这个是 docker 内置的监控命令,当你想要查看当前主机下全部容器占用内存和 cpu 的状况的时候就能够使用这个命令。

~ docker stats

CONTAINER ID        NAME                        CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O           PIDS
1c5ade04e7f9        redis                        0.08%               17.53MiB / 47.01GiB   0.04%               10.9GB / 37GB       0B / 0B             4
afe6d4ebe409        kafka-exporter                0.09%               16.91MiB / 47.01GiB   0.04%               1.97GB / 1.53GB     752MB / 0B          23
f0c7c01a9c34        kafka-docker_zookeeper         0.01%               308.8MiB / 47.01GiB   0.64%               20.2MB / 12.2MB     971MB / 3.29MB      28
da8c5008955f        kafka-docker_kafka-manager     0.08%               393.2MiB / 47.01GiB   0.82%               1.56MB / 2.61MB     1.14GB / 0B         60
c8d51c583c49        kafka-docker_kafka            1.63%               1.256GiB / 47.01GiB   2.67%               30.4GB / 48.9GB     22.3GB / 5.77GB     85
......

原文:http://suo.im/6n2lLa

学习Docker,新手最容易犯的11个错误!

不少人最终仍是决定使用 Docker 解决问题。 Docker 的优势不少,好比:

  • 一、一体化——将操做系统、库版本、配置文件、应用程序等所有打包装在容器里。从而保证 QA 所测试的镜像 (image) 会携带一样的行为到达生产环境。
  • 二、轻量——内存占用极小,只为主要过程分配内存。
  • 三、快读——一键启动,就像启动常见的 linux 过程同样快。

尽管如此,众多用户仍然只是把容器当作常见的虚拟机,而忘记了容器的一个重要特性:
正由于这一特色,一些用户须要改变他们对容器的观念,为了更好的使用与发挥 Docker 容器的价值,有一些事情是绝对不该该作的:

1.不要在容器(container)中存储数据

容器可能会被中断、被替换或遭到破坏。在容器中运行的 1.0 版应用程序很容易就会被 1.1 版取代,而不会对数据形成影响或致使数据丢失。所以,若是须要存储数据,请存储在卷 (volume) 中。在这一状况下,还应注意两个容器是否会在同一个卷上写入数据,这将致使损坏。请确保应用程序适用于写入共享的数据存储。

2. 不要分两部分传送应用程序 有些人把容器看成虚拟机

因此他们大多会认为,应该将应用程序部署到现有正在运行的容器中。在须要不断部署和调试的开发阶段,可能确实如此;但对于 QA 和生产的持续交付 (CD) 渠道,应用程序应当是镜像的一部分。切记:容器转瞬即逝。

3. 不要建立大尺寸镜像

大尺寸的镜像难以分配。请确保仅使用必需文件和库来运行应用程序。不要安装没必要要的数据包,也不要运行“更新”(yum update),这些操做会把大量文件下载到新的镜像层。

4. 不要使用单层镜像

为了有效利用多层文件系统,请始终为操做系统建立属于本身的基本镜像层,而后为用户名定义建立一个层,为运行时安装建立一个层,为配置建立一个层,最后再为应用程序建立一个层。这样,从新建立、管理和分配镜像就会容易些。

5. 不要从正在运行的容器中建立镜像

换句话说,不要使用"docker commit"命令来建立镜像。这一镜像建立方法不可复制,所以应彻底避免使用。请始终使用 Dockerfile 或其余任何可彻底复制的 S21(从源代码到镜像)方法,如此一来,若是存储在源代码控制存储库 (GIT) 中,就能够跟踪 Dockerfile 的变动状况。

6. 不要只使用“最新版”标签

最新版标签就像 Maven 用户的“快照”(SNAPSHOT) 同样。容器具备多层文件系统这一基本特征,因此咱们鼓励使用标签。相信谁也不肯意在构建了几个月的镜像后,忽然发现应用程序由于父层(即 Dockerfile 中的 FROM)被新版本取代而没法运行(新版本没法向后兼容或从构建缓存中检索的“最新“版有误)这样的意外吧?在生产过程当中部署容器时也应避免使用”最新版“标签,这是由于没法跟踪当前运行的镜像版本。

7. 不要在单个容器中运行一个以上进程

容器只运行一个进程(HTTP 守护进程、应用程序服务器、数据库)时效果最佳,但若是运行一个以上进程,在管理和检索日志以及单独更新进程时就会遇到不少麻烦。

8. 不要在镜像中存储证书及使用环境变量

不要在镜像中对任何用户名/密码进行硬编码操做。请使用环境变量从容器外部检索信息。Postgres 镜像就是这一原理的极佳诠释。

9. 不要以 root 权限运行进程

“默认状况下,Docker 容器以 root 用户权限运行。随着 Docker 技术日趋成熟,可以使用的安全默认选项愈来愈多。目前,要求 root 对其余用户来讲较为危险,另外,不是全部环境都可以使用 root。镜像应使用 USER 指令来为容器的运行指定非 root 用户。”(摘自《Docker 镜像做者指南》(Guidance for Docker Image Authors))

10. 不要依赖 IP 地址

每一个容器都有本身的内部 IP 地址,若是启动而后中止容器,内部 IP 地址可能会发生变化。若是你的应用程序或微服务须要和另外一个容器进行通讯,请使用环境变量在容器之间传递相应的主机名和端口。

11. 监控容器 Docker

监控已经愈来愈受到开发者们的重视,实时监控 Docker 的方法,这里推荐 Cloudinsight。 不一样于一些须要自写脚本的监控手段,Cloudinsight 做为一家免费的 SaaS 服务,可以一键监控 Docker,且拥有很棒的可视化界面。除此以外,Cloudinsight 还支持多种操做系统、数据库等的监控,可以一体化展现全部被监控的系统基础组件的性能数据。

原文:https://my.oschina.net/cllgee...

Jenkins与Docker的自动化CI/CD实战

1、发布流程设计

工做流程:

  • 开发人员提交代码到Git版本仓库;
  • Jenkins人工/定时触发项目构建;
  • Jenkins拉取代码、代码编码、打包镜像、推送到镜像仓库;
  • Jenkins在Docker主机建立容器并发布。

3、 部署过程

1,部署git

若是公司内部有直接克隆就能够

git clone git@192.168.0.31:/home/git/solo.git

2,部署Jenkins环境

部署传送门:Jenkins+Maven+Svn实现代码自动打包与发布

3,部署私有镜像仓库

注意:docker 仓库 因为https 认证,全部须要pull的客户端,须要修改配置文件

[root@linux-node1 ~]# vim /etc/sysconfig/docker
# Modify these options if you want to change the way the docker daemon runs
 OPTIONS='--selinux-enabled --insecure-registry 192.168.56.11:5000'

4,全部主机安装docker

1)安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2`
 
2)添加Docker软件包源:
yum-config-manager 
--add-repo 
https://download.docker.com/linux/centos/docker-ce.repo

3)安装Docker CE
 yum install docker-ce -y`
 
4)配置加速器
 curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://bc437cce.m.daocloud.io`
 #由于默认源会去国外获取数据,因此会慢能够超时,这是咱们就须要配置加速器指向国内源https://www.daocloud.io/
 
5)启动并开机启动
# systemctl start docker
# systemctl enable docker

4、构建基础镜像

【Apache、Nginx、Tomcat、LNMP、LAMP、LNTP】

JAVA程序必须有JDK环境才能够运行,为了减小镜像大小及提升性能,这里直接把JDK放到宿主机上,容器以挂载形式使用。

1,安装jdk

#rz 把tar包上传,解压后放到指定目录
rz....... 
tar -zxvf jdk-8u60-linux-x64.tar.gz
mv jdk1.8.0_60 /usr/local/jdk1.8

2,拟写Dockerfile

# cat Dockerfile
FROM centos:7
#他的妈妈是谁
MAINTAINER www.aliangedu.com
#他的爸爸是谁
ENV VERSION=8.5.33
#tomcat版本
ENV JAVA_HOME /usr/local/jdk
#jdk 绝对路径
RUN yum install wget -y
#运行的命令
RUN wget http://mirrors.shu.edu.cn/apache/tomcat/tomcat-8/v${VERSION}/bin/apache-tomcat-${VERSION}.tar.gz && 
 tar zxf apache-tomcat-${VERSION}.tar.gz && 
 mv apache-tomcat-${VERSION} /usr/local/tomcat && 
 rm -rf apache-tomcat-${VERSION}.tar.gz /usr/local/tomcat/webapps/* && 
 mkdir /usr/local/tomcat/webapps/ROOT
EXPOSE 8080
#程序使用的端口
CMD /usr/local/tomcat/bin/catalina.sh run
#执行tomcat目录下的启动脚本,这里面遇到坑,就是-v 将宿主机jdk目录挂在到容器/usr/local/jdk 时候,由于镜像按照dockerfile去打,那么在执行命令的时候就会找不到路径,因此我临时删除了,EXPOSE与CMD 2行,而后从新打包,使用 -p 指定端口,而后进入容器,手工启动tomcat的方式,进行

3,构建镜像

docker build -t 192.168.56.11:5000/tomcat-85:latest -f dockerfile . 
#最后这个点。表明当前路径,在制做镜像时,会记录上下文内容

4,上传到docker 镜像仓库

root@node02 scripts]# docker push 192.168.56.11:5000/tomcat-85:latest

5,启动镜像 测试

[root@node02 scripts]# docker run -it -d -p 8080:8080 -v /usr/local/jdk1.8:/usr/local/jdk 192.168.56.11:5000/tomcat-8:latest
[root@3addff07c464 ROOT]# echo "123" >index.jsp

5、Jenkins 配置

1.主页面 -> 系统管理 -> 全局工具配置

指定JDK、Maven路径,Git保持默认:

2.jenkins安装必要插件

主页面 -> 系统管理 ->管理插件:

安装SSH与Git Parameter插件。

插件说明:

  • 》SSH:用于SSH远程Docker主机执行Shell命令
  • 》Git Parameter:动态获取Git仓库Branch、Tag

3,配置SSH插件

第一步:先建立一个用于链接Docker主机的凭证 (有权限的用户)

主页面 -> 凭据 -> 系统 -> 右击全局凭据 -> 添加凭据:

输入链接Docker主机的用户名和密码:

第二步:添加SSH远程主机

主页面 -> 系统管理 -> 系统设置 -> SSH remote hosts:

问题:当以普通用户身份去使用docker images时,出现如下错误:

6、将从github上下载的JAVA项目,上传到本身的gitlab仓库

# git clone https://github.com/b3log/solo
# cd solo
移除旧的推送地址,添加新的:
# git remote remove origin 
# git remote add origin git@gitlab.example.com:qqq/solo.git
提交代码到Git仓库并建立tag:
# touch src/main/webapp/a.html
# git add .
# git commit -m “a”
建立标签:
# git tag 1.0.0
推送到Git服务器:
# git push origin 1.0.0

登录gitlab查看solo项目:

7、Jenkins建立项目并发布测试

1.主页面 -> 新建任务 -> 输入任务名称,构建一个Maven项目:

注意:若是没有显示“构建一个Maven项目”选项,须要在管理插件里安装“Maven Integration plugin”插件。

配置Git参数化构建:

2.动态获取Git仓库tag,与用户交互选择Tag发布:【也能够设置分支】

3.指定项目Git仓库地址:

修改*/master为$Tag,Tag是上面动态获取的变量名,表示根据用户选择打代码版本。

4.设置maven构建命令选项:

clean package -Dmaven.test.skip=ture

利用pom.xml文件构建项目。

在Jenkins本机镜像构建与推送到镜像仓库,并SSH远程链接到Docker主机使用推送的镜像建立容器:

上图中 命令内容以下:

REPOSITORY=192.168.56.11:5000/solo:${Tag}
# 构建镜像
cat > Dockerfile << EOF
FROM 192.168.56.11:5000/tomcat-8:latest
RUN rm -rf /usr/local/tomcat/webapps/ROOT
COPY target/*.war /usr/local/tomcat/webapps/ROOT.war
CMD ["/usr/local/tomcat/bin/catalina.sh", "run"]
EOF
docker build -t $REPOSITORY .
# 上传镜像
docker push $REPOSITORY


上图中Command 内容以下:

REPOSITORY=192.168.56.11:5000/solo:${Tag}
# 部署
sudo docker rm -f blog-solo |true
sudo docker image rm $REPOSITORY |true
sudo docker container run -d --name blog-solo -v /usr/local/jdk1.8:/usr/local/jdk -p 8080:8080 $REPOSITORY
# -d 后台运行 ,-v 挂在目录,-p 映射端口,后面是镜像

注:容器名称blog-solo,暴露宿主机端口8080,即便用宿主机IP 192.168.56.12:8080 访问blog-solo项目。

blog-solo项目已配置完成,开始构建:

选择tag,开始构建:

点击左下角构建历史里,右击第一个查看控制台输出:

构建详细内容

构建成功

访问:192.168.56.12:8080 查看部署结果

调整项目访问地址

进入容器,切换到项目目录

vi WEB-INF/classes/latke.properties 
#### Server ####
# Browser visit protocol
serverScheme=http
# Browser visit domain name
serverHost=192.168.56.12
# Browser visit port, 80 as usual, THIS IS NOT SERVER LISTEN PORT!
serverPort=8080

调整后,重启tomcat,再次验证,OK,结果以下:

至此,自动化CI环境搭建完成,你能够模拟提交代码并打tag测试自动化发布流程。

8、问题总结:

查看docker.sock权限

[root@node03 ~]# ll /var/run/docker.sock 
srw-rw---- 1 root docker 0 9月 4 21:55 /var/run/docker.sock

解决方法:【免sudo 使用docker images 】

[root@node03 ~]# sudo groupadd docker
 ##groupadd:“docker”组已存在
[root@node03 ~]# sudo gpasswd -a jenkins docker
 ##正在将用户“jenkins”加入到“docker”组中
[root@node03 ~]# sudo service docker restart
##重启服务
[root@node03 ~]# newgrp - docker
##从新加载group 组信息,必定要输入这条命令,不然没法加载最新组内容,由于有缓存

原文:https://www.toutiao.com/a6602...

使用 GitLab CI 和 Docker 自动部署 Spring Boot 应用

Docker 常见疑难杂症解决方案

图片

这里主要是为了记录在使用 Docker 的时候遇到的问题及其处理解决方法。

图片

1.Docker 迁移存储目录

默认状况系统会将 Docker 容器存放在/var/lib/docker 目录下

问题原由:今天经过监控系统,发现公司其中一台服务器的磁盘快慢,随即上去看了下,发现 /var/lib/docker 这个目录特别大。由上述缘由,咱们都知道,在 /var/lib/docker 中存储的都是相关于容器的存储,因此也不能随便的将其删除掉。

那就准备迁移 docker 的存储目录吧,或者对 /var 设备进行扩容来达到相同的目的。更多关于 dockerd 的详细参数,请点击查看 官方文档 地址。

可是须要注意的一点就是,尽可能不要用软链, 由于一些 docker 容器编排系统不支持这样作,好比咱们所熟知的 k8s 就在内。

# 发现容器启动不了了
ERROR:cannot  create temporary directory!
# 查看系统存储状况
$ du -h --max-depth=1

解决方法1:添加软连接

# 1.中止docker服务
$ sudo systemctl stop docker
# 2.开始迁移目录
$ sudo mv /var/lib/docker /data/
# 3.添加软连接
# sudo ln -s /data/docker /var/lib/docker
# 4.启动docker服务
$ sudo systemctl start docker

解决方法2:改动 docker 配置文件

# 3.改动docker启动配置文件
$ sudo vim /lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd --graph=/data/docker/
# 4.改动docker启动配置文件
$ sudo vim /etc/docker/daemon.json
{
    "live-restore": true,
    "graph": [ "/data/docker/" ]
}

操做注意事项:在迁移 docker 目录的时候注意使用的命令,要么使用 mv 命令直接移动,要么使用 cp 命令复制文件,可是须要注意同时复制文件权限和对应属性,否则在使用的时候可能会存在权限问题。若是容器中,也是使用 root 用户,则不会存在该问题,可是也是须要按照正确的操做来迁移目录。

# 使用mv命令
$ sudo mv /var/lib/docker /data/docker
# 使用cp命令
$ sudo cp -arv /data/docker /data2/docker

下图中,就是由于启动的容器使用的是普通用户运行进程的,且在运行当中须要使用 /tmp 目录,结果提示没有权限。在咱们导入容器镜像的时候,实际上是会将容器启动时须要的各个目录的权限和属性都赋予了。若是咱们直接是 cp 命令单纯复制文件内容的话,就会出现属性不一致的状况,同时还会有必定的安全问题。

图片

2.Docker 设备空间不足

Increase Docker container size from default 10GB on rhel7.

问题原由一:容器在导入或者启动的时候,若是提示磁盘空间不足的,那么多半是真的由于物理磁盘空间真的有问题致使的。以下所示,咱们能够看到 / 分区确实满了。

# 查看物理磁盘空间
$ df -Th
Filesystem    Size    Used    Avail    Use%    Mounted on
/dev/vda1      40G     40G       0G    100%    /
tmpfs         7.8G       0     7.8G      0%    /dev/shm
/dev/vdb1     493G    289G     179G     62%    /mnt

若是发现真的是物理磁盘空间满了的话,就须要查看究竟是什么占据了如此大的空间,致使由于容器没有空间没法启动。其中,docker 自带的命令就是一个很好的可以帮助咱们发现问题的工具。

# 查看基本信息
# 硬件驱动使用的是devicemapper,空间池为docker-252
# 磁盘可用容量仅剩16.78MB,可用供咱们使用
$ docker info
Containers: 1
Images: 28
Storage Driver: devicemapper
 Pool Name: docker-252:1-787932-pool
 Pool Blocksize: 65.54 kB
 Backing Filesystem: extfs
 Data file: /dev/loop0
 Metadata file: /dev/loop1
 Data Space Used: 1.225 GB
 Data Space Total: 107.4 GB
 Data Space Available: 16.78 MB
 Metadata Space Used: 2.073 MB
 Metadata Space Total: 2.147 GB

解决方法:经过查看信息,咱们知道正是由于 docker 可用的磁盘空间不足,因此致使启动的时候没有足够的空间进行加载启动镜像。解决的方法也很简单,第一就是清理无效数据文件释放磁盘空间(清除日志),第二就是修改 docker 数据的存放路径(大分区)。

# 显示哪些容器目录具备最大的日志文件
$ du -d1 -h /var/lib/docker/containers | sort -h
# 清除您选择的容器日志文件的内容
$ cat /dev/null > /var/lib/docker/containers/container_id/container_log_name

问题原由二:显然我遇到的不是上一种状况,而是在启动容器的时候,容器启动以后不久就显示是 unhealthy 的状态,经过以下日志发现,原来是复制配置文件启动的时候,提示磁盘空间不足。

后面发现是由于 CentOS7 的系统使用的 docker 容器默认的建立大小就是 10G 而已,然而咱们使用的容器却超过了这个限制,致使没法启动时提示空间不足。

2019-08-16 11:11:15,816 INFO spawned: 'app-demo' with pid 835
2019-08-16 11:11:16,268 INFO exited: app (exit status 1; not expected)
2019-08-16 11:11:17,270 INFO gave up: app entered FATAL state, too many start retries too quickly
cp: cannot create regular file '/etc/supervisor/conf.d/grpc-app-demo.conf': No space left on device
cp: cannot create regular file '/etc/supervisor/conf.d/grpc-app-demo.conf': No space left on device
cp: cannot create regular file '/etc/supervisor/conf.d/grpc-app-demo.conf': No space left on device
cp: cannot create regular file '/etc/supervisor/conf.d/grpc-app-demo.conf': No space left on device

解决方法1:改动 docker 启动配置文件

# /etc/docker/daemon.json
{
    "live-restore": true,
    "storage-opt": [ "dm.basesize=20G" ]
}

解决方法2:改动 systemctl 的 docker 启动文件

# 1.stop the docker service
$ sudo systemctl stop docker
# 2.rm exised container
$ sudo rm -rf /var/lib/docker
# 2.edit your docker service file
$ sudo vim /usr/lib/systemd/system/docker.service
# 3.find the execution line
ExecStart=/usr/bin/dockerd
and change it to:
ExecStart=/usr/bin/dockerd --storage-opt dm.basesize=20G
# 4.start docker service again
$ sudo systemctl start docker
# 5.reload daemon
$ sudo systemctl daemon-reload

问题原由三:还有一种状况也会让容器没法启动,并提示磁盘空间不足,可是使用命令查看发现并非由于物理磁盘真的不足致使的。而是,由于对于分区的 inode 节点数满了致使的。

# 报错信息
No space left on device

解决方法:由于 ext3 文件系统使用 inode table 存储 inode 信息,而 xfs 文件系统使用 B+ tree 来进行存储。考虑到性能问题,默认状况下这个 B+ tree 只会使用前 1TB 空间,当这 1TB 空间被写满后,就会致使没法写入 inode 信息,报磁盘空间不足的错误。咱们能够在 mount 时,指定 inode64 便可将这个 B+ tree 使用的空间扩展到整个文件系统。

# 查看系统的inode节点使用状况
$ sudo df -i
# 尝试从新挂载
$ sudo mount -o remount -o noatime,nodiratime,inode64,nobarrier /dev/vda1

补充知识:文件储存在硬盘上,硬盘的最小存储单位叫作“扇区”(Sector)。每一个扇区储存 512 字节(至关于0.5KB)。操做系统读取硬盘的时候,不会一个个扇区地读取,这样效率过低,而是一次性连续读取多个扇区,即一次性读取一个“块”(block)。这种由多个扇区组成的”块”,是文件存取的最小单位。”块”的大小,最多见的是4KB,即连续八个 sector 组成一个 block 块。文件数据都储存在”块”中,那么很显然,咱们还必须找到一个地方储存文件的元信息,好比文件的建立者、文件的建立日期、文件的大小等等。这种储存文件元信息的区域就叫作“索引节点”(inode)。每个文件都有对应的 inode,里面包含了除了文件名之外的全部文件信息。

inode 也会消耗硬盘空间,因此硬盘格式化的时候,操做系统自动将硬盘分红两个区域。一个是数据区,存放文件数据;另外一个是 inode 区(inode table),存放 inode 所包含的信息。每一个 inode 节点的大小,通常是 128 字节或 256 字节。inode 节点的总数,在格式化时就给定,通常是每1KB或每2KB就设置一个 inode 节点。

# 每一个节点信息的内容
$ stat check_port_live.sh
  File: check_port_live.sh
  Size: 225           Blocks: 8          IO Block: 4096   regular file
Device: 822h/2082d    Inode: 99621663    Links: 1
Access: (0755/-rwxr-xr-x)  Uid: ( 1006/  escape)   Gid: ( 1006/  escape)
Access: 2019-07-29 14:59:59.498076903 +0800
Modify: 2019-07-29 14:59:59.498076903 +0800
Change: 2019-07-29 23:20:27.834866649 +0800
 Birth: -
# 磁盘的inode使用状况
$ df -i
Filesystem                 Inodes   IUsed     IFree IUse% Mounted on
udev                     16478355     801  16477554    1% /dev
tmpfs                    16487639    2521  16485118    1% /run
/dev/sdc2               244162560 4788436 239374124    2% /
tmpfs                    16487639       5  16487634    1% /dev/shm

3.Docker 缺共享连接库

Docker 命令须要对/tmp 目录下面有访问权限

问题原由:给系统安装完 compose 以后,查看版本的时候,提示缺乏一个名为 libz.so.1 的共享连接库。第一反应就是,是否是系统少安装那个软件包致使的。随即,搜索了一下,将相关的依赖包都给安装了,却仍是提示一样的问题。

# 提示错误信息
$ docker-compose --version
error while loading shared libraries: libz.so.1: failed to map segment from shared object: Operation not permitted

解决方法:后来发现,是由于系统中 docker 没有对 /tmp 目录的访问权限致使,须要从新将其挂载一次,就能够解决了。

# 从新挂载
$ sudo mount /tmp -o remount,exec

4.Docker 容器文件损坏

对 dockerd 的配置有可能会影响到系统稳定

问题原由:容器文件损坏,常常会致使容器没法操做。正常的 docker 命令已经没法操控这台容器了,没法关闭、重启、删除。正巧,前天就须要这个的问题,主要的缘由是由于从新对 docker 的默认容器进行了从新的分配限制致使的。

# 操做容器遇到相似的错误
b'devicemapper: Error running deviceCreate (CreateSnapDeviceRaw) dm_task_run failed'

解决方法:能够经过如下操做将容器删除/重建。

# 1.关闭docker
$ sudo systemctl stop docker
# 2.删除容器文件
$ sudo rm -rf /var/lib/docker/containers
# 3.从新整理容器元数据
$ sudo thin_check /var/lib/docker/devicemapper/devicemapper/metadata
$ sudo thin_check --clear-needs-check-flag /var/lib/docker/devicemapper/devicemapper/metadata
# 4.重启docker
$ sudo systemctl start docker

5.Docker 容器优雅重启

不中止服务器上面运行的容器,重启 dockerd 服务是多么好的一件事

问题原由:默认状况下,当 Docker 守护程序终止时,它会关闭正在运行的容器。从 Docker-ce 1.12 开始,能够在配置文件中添加 live-restore 参数,以便在守护程序变得不可用时容器保持运行。须要注意的是 Windows 平台暂时仍是不支持该参数的配置。

# Keep containers alive during daemon downtime
$ sudo vim /etc/docker/daemon.yaml
{
  "live-restore": true
}
# 在守护进程停机期间保持容器存活
$ sudo dockerd --live-restore
# 只能使用reload重载
# 至关于发送SIGHUP信号量给dockerd守护进程
$ sudo systemctl reload docker
# 可是对应网络的设置须要restart才能生效
$ sudo systemctl restart docker

解决方法:能够经过如下操做将容器删除/重建。

# /etc/docker/daemon.yaml
{
    "registry-mirrors": ["https://vec0xydj.mirror.aliyuncs.com"],  # 配置获取官方镜像的仓库地址
    "experimental": true,  # 启用实验功能
    "default-runtime": "nvidia",  # 容器的默认OCI运行时(默认为runc)
    "live-restore": true,  # 重启dockerd服务的时候容易不终止
    "runtimes": {  # 配置容器运行时
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    },
    "default-address-pools": [  # 配置容器使用的子网地址池
        {
            "scope": "local",
            "base":"172.17.0.0/12",
            "size":24
        }
    ]
}

6.Docker 容器没法删除

找不到对应容器进程是最吓人的

问题原由:今天遇到 docker 容器没法中止/终止/删除,觉得这个容器可能又出现了 dockerd 守护进程托管的状况,可是经过ps -ef <container id>没法查到对应的运行进程。哎,后来开始开始查 supervisor 以及 Dockerfile 中的进程,都没有。这种状况的可能缘由是容器启动以后,以后,主机因任何缘由从新启动而且没有优雅地终止容器。剩下的文件如今阻止你从新生成旧名称的新容器,由于系统认为旧容器仍然存在。

# 删除容器
$ sudo docker rm -f f8e8c3..
Error response from daemon: Conflict, cannot remove the default name of the container

解决方法:找到 /var/lib/docker/containers/ 下的对应容器的文件夹,将其删除,而后重启一下 dockerd 便可。咱们会发现,以前没法删除的容器没有了。

# 删除容器文件
$ sudo rm -rf /var/lib/docker/containers/f8e8c3...65720
# 重启服务
$ sudo systemctl restart docker.service

7.Docker 容器中文异常

容器存在问题话,记得优先在官网查询

问题原由:今天登录以前部署的 MySQL 数据库查询,发现使用 SQL 语句没法查询中文字段,即便直接输入中文都没有办法显示。

# 查看容器支持的字符集
root@b18f56aa1e15:# locale -a
C
C.UTF-8
POSIX

解决方法:Docker 部署的 MySQL 系统使用的是 POSIX 字符集。然而 POSIX 字符集是不支持中文的,而 C.UTF-8 是支持中文的只要把系统中的环境 LANG 改成 "C.UTF-8" 格式便可解决问题。同理,在 K8S 进入 pod 不能输入中文也可用此方法解决。

# 临时解决
docker exec -it some-mysql env LANG=C.UTF-8 /bin/bash
# 永久解决
docker run --name some-mysql 
    -e MYSQL_ROOT_PASSWORD=my-secret-pw 
    -d mysql:tag --character-set-server=utf8mb4 
    --collation-server=utf8mb4_unicode_ci

8.Docker 容器网络互通

了解 Docker 的四种网络模型

问题原由:在本机部署 Nginx 容器想代理本机启动的 Python 后端服务程序,可是对代码服务以下的配置,结果访问的时候一直提示 502 错误。

# 启动Nginx服务
$ docker run -d -p 80:80 $PWD:/etc/nginx nginx
nginx
server {
    ...
    location /api {
        proxy_pass http://localhost:8080
    }
    ...
}

解决方法:后面发现是由于 nginx.conf 配置文件中的 localhost 配置的有问题,因为 Nginx 是在容器中运行,因此 localhost 为容器中的 localhost,而非本机的 localhost,因此致使没法访问。

能够将 nginx.conf 中的 localhost 改成宿主机的 IP 地址,就能够解决 502 的错误。

# 查询宿主机IP地址 => 172.17.0.1
$ ip addr show docker0
docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:d5:4c:f2:1e brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:d5ff:fe4c:f21e/64 scope link
       valid_lft forever preferred_lft forever
nginx
server {
    ...
    location /api {
        proxy_pass http://172.17.0.1:8080
    }
    ...
}

当容器使用 host 网络时,容器与宿主共用网络,这样就能在容器中访问宿主机网络,那么容器的 localhost 就是宿主机的 localhost 了。

# 服务的启动方式有所改变(没有映射出来端口)
# 由于自己与宿主机共用了网络,宿主机暴露端口等同于容器中暴露端口
$ docker run -d -p 80:80 --network=host $PWD:/etc/nginx nginxx

9.Docker 容器总线错误

总线错误看到的时候仍是挺吓人了

问题原由:在 docker 容器中运行程序的时候,提示 bus error 错误。

# 总线报错
$ inv app.user_op --name=zhangsan
Bus error (core dumped)

解决方法:缘由是在 docker 运行的时候,shm 分区设置过小致使 share memory 不够。不设置 –shm-size 参数时,docker 给容器默认分配的 shm 大小为 64M,致使程序启动时不足。

# 启动docker的时候加上--shm-size参数(单位为b,k,m或g)
$ docker run -it --rm --shm-size=200m pytorch/pytorch:latest

解决方法:还有一种状况就是容器内的磁盘空间不足,也会致使 bus error 的报错,因此清除多余文件或者目录,就能够解决了。

# 磁盘空间不足
$ df -Th
Filesystem     Type     Size  Used Avail Use% Mounted on
overlay        overlay    1T    1T    0G 100% /
shm            tmpfs     64M   24K   64M   1% /dev/shm

10.Docker NFS 挂载报错

总线错误看到的时候仍是挺吓人了

问题原由:咱们将服务部署到 openshift 集群中,启动服务调用资源文件的时候,报错信息以下所示。从报错信息中,得知是在 Python3 程序执行 read_file() 读取文件的内容,给文件加锁的时候报错了。可是奇怪的是,本地调试的时候发现服务都是能够正常运行的,文件加锁也是没问题的。后来发现,在 openshift 集群中使用的是 NFS 挂  载的共享磁盘。

# 报错信息
Traceback (most recent call last):
    ......
    File "xxx/utils/storage.py", line 34, in xxx.utils.storage.LocalStorage.read_file
OSError: [Errno 9] Bad file descriptor
# 文件加锁代码
...
    with open(self.mount(path), 'rb') as fileobj:
        fcntl.flock(fileobj, fcntl.LOCK_EX)
        data = fileobj.read()
    return data
...

解决方法:从下面的信息得知,要在 Linux 中使用 flock() 的话,就须要升级内核版本到 2.6.11+ 才行。后来才发现,这其实是由 RedHat 內核中的一个错误引发的,并在 kernel-3.10.0-693.18.1.el7 版本中获得修复。因此对于 NFSv3 和 NFSv4 服务而已,就须要升级 Linux 内核版本才可以解决这个问题。

# https://t.codebug.vip/questions-930901.htm
$ In Linux kernels up to 2.6.11, flock() does not lock files over NFS (i.e.,
the scope of locks was limited to the local system). [...] Since Linux 2.6.12,
NFS clients support flock() locks by emulating them as byte-range locks on the entire file.

11.Docker 默认使用网段


启动的容器网络没法相互通讯,非常奇怪!

问题原由:咱们在使用 Docker 启动服务的时候,发现有时候服务以前能够相互连通,而有时间启动的多个服务以前却出现了没法访问的状况。究其缘由,发现原来是由于使用的内部私有地址网段不一致致使的。有点服务启动到了 172.17 - 172.31 的网段,有的服务跑到了 192.169.0 - 192.168.224 的网段,这样致使服务启动以后出现没法访问的状况。

image.png

解决方法:上述问题的处理方式,就是手动指定 Docker 服务的启动网段,就能够了。

# 查看docker容器配置
$ cat /etc/docker/daemon.json
{
    "registry-mirrors": ["https://vec0xydj.mirror.aliyuncs.com"],
    "default-address-pools":[{"base":"172.17.0.0/12","size":24}],
    "experimental": true,
    "default-runtime": "nvidia",
    "live-restore": true,
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

12.Docker 服务启动串台


使用 docker-compose 命令各自启动两组服务,发现服务会串台!

问题原由:在两个不一样名称的目录目录下面,使用 docker-compose 来启动服务,发现当 A 组服务启动完毕以后,再启动 B 组服务的时候,发现 A 组当中对应的一部分服务又从新启动了一次,这就很是奇怪了!由于这个问题的存在会致使,A 组服务和 B 组服务没法同时启动。以前还觉得是工具的 Bug,后来请教了“上峰”,才知道了缘由,恍然大悟。

# 服务目录结构以下所示
A: /data1/app/docker-compose.yml
B: /data2/app/docker-compose.yml

解决方法:发现 A 和 B 两组服务会串台的缘由,原来是 docker-compose 会给启动的容器加 label 标签,而后根据这些 label 标签来识别和判断对应的容器服务是由谁启动的、谁来管理的,等等。而这里,咱们须要关注的 label 变量是 com.docker.compose.project,其对应的值是使用启动配置文件的目录的最底层子目录名称,即上面的 app 就是对应的值。咱们能够发现, A 和 B 两组服务对应的值都是 app,因此启动的时候被认为是同一个,这就出现了上述的问题。若是须要深刻了解的话,能够去看对应源代码。

图片

# 能够将目录结构调整为以下所示
A: /data/app1/docker-compose.yml
B: /data/app2/docker-compose.yml
A: /data1/app-old/docker-compose.yml
B: /data2/app-new/docker-compose.yml

或者使用 docker-compose 命令提供的参数 -p 来规避该问题的发生。

# 指定项目项目名称
$ docker-compose -f ./docker-compose.yml -p app1 up -d

13.Docker 命令调用报错


在编写脚本的时候经常会执行 docker 相关的命令,可是须要注意使用细节!

问题原由:CI 更新环境执行了一个脚本,可是脚本执行过程当中报错了,以下所示。经过对应的输出信息,能够看到提示说正在执行的设备不是一个 tty。

图片

随即,查看了脚本发现报错地方是执行了一个 exec 的 docker 命令,大体以下所示。很奇怪的是,手动执行或直接调脚本的时候,怎么都是没有问题的,可是等到 CI 调用的时候怎么都是有问题。后来好好看下下面这个命令,注意到 -it 这个参数了。

# 脚本调用docker命令
docker exec -it <container_name> psql -Upostgres ......
咱们能够一块儿看下 exec 命令的这两个参数,天然就差很少理解了。
-i/-interactive #即便没有附加也保持 STDIN 打开;若是你须要执行命令则须要开启这个选项
-t/–tty #分配一个伪终端进行执行;一个链接用户的终端与容器 stdin 和 stdout 的桥梁

解决方法:docker exec 的参数 -t 是指 Allocate a pseudo-TTY 的意思,而 CI 在执行 job 的时候并非在 TTY 终端中执行,因此 -t 这个参数会报错。

图片

14.Docker 定时任务异常


在 Crontab 定时任务中也存在 Docker 命令执行异常的状况!

问题原由:今天发现了一个问题,就是在备份 Mysql 数据库的时候,使用 docker 容器进行备份,而后使用 Crontab 定时任务来触发备份。可是发现备份的 MySQL 数据库竟然是空的,可是手动执行对应命令切是好的,很奇怪。

# Crontab定时任务
0 */6 * * * 
    docker exec -it <container_name> sh -c 
        'exec mysqldump --all-databases -uroot -ppassword ......'

解决方法:后来发现是由于执行的 docker 命令多个 -i 致使的。由于 Crontab 命令执行的时候,并非交互式的,因此须要把这个去掉才能够。总结就是,若是你须要回显的话则须要 -t 选项,若是须要交互式会话则须要 -i 选项。

-i/-interactive #即便没有附加也保持 STDIN 打开;若是你须要执行命令则须要开启这个选项
-t/–tty  #分配一个伪终端进行执行;一个链接用户的终端与容器 stdin 和 stdout 的桥梁

15.Docker 变量使用引号


compose 里边环境变量带不带引号的问题!

问题原由:使用过 compose 的同窗可能都遇到过,咱们在编写启动配置文件的时候,添加环境变量的时候究竟是使用单引号、双引号仍是不使用引号。时间长了,可能咱们老是三者是同样的,能够相互使用。可是,直到最后咱们发现坑愈来愈多,愈来愈隐晦。

反正我是遇到过不少是由于添加引号致使的服务启动问题,后来得出的结论就是一概不适用引号。裸奔,体验史无前例的爽快!直到如今看到了 Github 中对应的 issus 以后,才终于破案了。

# TESTVAR="test"
在Compose中进行引用TESTVAR变量,没法找到
# TESTVAR=test
在Compose中进行引用TESTVAR变量,能够找到
# docker run -it --rm -e TESTVAR="test" test:latest
后来发现docker自己其实已经正确地处理了引号的使用

解决方法:获得的结论就是,由于 Compose 解析 yaml 配置文件,发现引号也进行了解释包装。这就致使本来的 TESTVAR="test" 被解析成了 'TESTVAR="test"',因此咱们在引用的时候就没法获取到对应的值。如今解决方法就是,无论是咱们直接在配置文件添加环境变量或者使用 env_file 配置文件,能不使用引号就不适用引号。

16. Docker 删除镜像报错


没法删除镜像,归根到底仍是有地方用到了!

问题原由:清理服器磁盘空间的时候,删除某个镜像的时候提示以下信息。提示须要强制删除,可是发现及时执行了强制删除依旧没有效果。

# 删除镜像
$ docker rmi 3ccxxxx2e862
Error response from daemon: conflict: unable to delete 3ccxxxx2e862 (cannot be forced) - image has dependent child images
# 强制删除
$ dcoker rmi -f 3ccxxxx2e862
Error response from daemon: conflict: unable to delete 3ccxxxx2e862 (cannot be forced) - image has dependent child images

解决方法:后来才发现,出现这个缘由主要是由于 TAG,即存在其余镜像引用了这个镜像。这里咱们能够使用以下命令查看对应镜像文件的依赖关系,而后根据对应 TAG 来删除镜像。

# 查询依赖 - image_id表示镜像名称
$ docker image inspect --format='{{.RepoTags}} {{.Id}} {{.Parent}}' $(docker image ls -q --filter since=<image_id>)
# 根据TAG删除镜像
$ docker rmi -f c565xxxxc87f
bash
# 删除悬空镜像
$ docker rmi $(docker images --filter "dangling=true" -q --no-trunc)

17.Docker 普通用户切换


切换 Docker 启动用户的话,仍是须要注意下权限问题的!

问题原由:咱们都知道在 Docker 容器里面使用 root 用户的话,是不安全的,很容易出现越权的安全问题,因此通常状况下,咱们都会使用普通用户来代替 root 进行服务的启动和管理的。今天给一个服务切换用户的时候,发现 Nginx 服务一直没法启动,提示以下权限问题。由于对应的配置文件也没有配置 var 相关的目录,无奈 🤷‍♀ !️

# Nginx报错信息
nginx: [alert] could not open error log file: open() "/var/log/nginx/error.log" failed (13: Permission denied)
2020/11/12 15:25:47 [emerg] 23#23: mkdir() "/var/cache/nginx/client_temp" failed (13: Permission denied)

解决方法:后来发现仍是 nginx.conf 配置文件,配置的有问题,须要将 Nginx 服务启动时候须要的文件都配置到一个无权限的目录,便可解决。

nginx
user  www-data;
worker_processes  1;
error_log  /data/logs/master_error.log warn;
pid        /dev/shm/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    gzip               on;
    sendfile           on;
    tcp_nopush         on;
    keepalive_timeout  65;
    client_body_temp_path  /tmp/client_body;
    fastcgi_temp_path      /tmp/fastcgi_temp;
    proxy_temp_path        /tmp/proxy_temp;
    scgi_temp_path         /tmp/scgi_temp;
    uwsgi_temp_path        /tmp/uwsgi_temp;
    include /etc/nginx/conf.d/*.conf;
}

史上最全、最详细的Docker学习资料  推荐给你看一看。

新手学习项目

推荐给你们:推荐 11 个极易上手的 Docker 实践项目

按期更新的Docker学习文章

相关文章
相关标签/搜索