006.Docker网络管理

一 docker网络模式

Docker使用Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。

一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、Iptable规则等都与其余的Network Namespace隔离，Docker容器通常会分配一个独立的Network Namespace。

1.1 四种模式

• host模式

指定方式：--net=host

• container模式

指定方式：--net=container:NAME_or_ID

• none模式

指定方式：--net=none

• bridge模式

指定方式：--net=bridge

  1 root@docker:~# docker network ls		#默认已经建立好三种模式，且没法删除
  2 NETWORK ID          NAME                DRIVER              SCOPE
  3 4237839afd99        bridge              bridge              local
  4 c7a14aafc3b5        host                host                local
  5 3cc2eba3eb5f        none                null                local

 

1.2 host模式

容器网络指定为host模式，则容器将不会得到独立的Network Namespace，该模式下宿主机共用一个Network Namespace。容器将不会虚拟出本身的网卡，不会配置独有的IP等，而是使用宿主机的IP和端口。

其具备如下特色：

• host模式下的容器没有隔离的 network namespace；
• 容器的 IP 地址同 Docker host 的 IP 地址；
• 须要注意容器中服务的端口号不能与 Docker host 上已经使用的端口号相冲突；
• host 模式可以和其它模式共存。

  1 root@docker:~# docker run -d --name docker_host1 --network host training/webapp python app.py
  2 root@docker:~# docker exec -it docker_host1 /bin/bash
  3 root@docker:/opt/webapp# ifconfig -a

 

宿主机172.24.8.90/24上使用host模式启动一个容器，则查看的网卡信息为宿主机信息，容器中的应用对外直接采用宿主机IP地址提供服务，无任何NAT转换。

注意：除网络外，容器的其余方面，如文件系统、进程列表等仍是和宿主机隔离的，同时采用host模式，端口没法作映射，无需指定，不然会出现warning告警。

1.3 container模式

Container 网络模式是 Docker 中一种较为特别的网络的模式，处于container模式下的 Docker 容器会共享其余容器的网络环境，所以，两个或以上的容器之间不存在网络隔离，而配置container模式的容器又与宿主机以及除此以外其余的容器存在网络隔离。 

  1 root@docker:~# docker run -dit --name docker_host2 centos7-xhy /bin/bash
  2 root@docker:~# docker run -dit --name docker_host3 --network container:docker_host2 centos7-xhy /bin/bash
  3 root@docker:~# docker exec -it docker_host2 /bin/bash
  4 [root@c9b51e88f75a /]# ifconfig -a

 

  1 root@docker:~# docker exec -it docker_host3 /bin/bash
  2 [root@c9b51e88f75a /]# ifconfig -a

 

注意：由于此时两个容器要共享一个 network namespace，所以须要注意端口冲突状况，不然第二个容器将没法被启动，以上docker_host3由于端口缘由，没法正常启动。

1.4 none模式

none模式下，Docker容器拥有本身的Network Namespace，可是，并不为Docker容器进行任何网络配置和构造任何网络环境。

Docker 容器采用了none 网络模式，那么容器内部就只能使用loopback网络设备，不会再有其余的网络资源。Docker Container的none网络模式意味着不给该容器建立任何网络环境，容器只能使用127.0.0.1的本机网络。

  1 root@docker:~# docker run -dit --name docker_host4 --network none centos7-xhy /bin/bash
  2 root@docker:~# docker exec -it docker_host4 /bin/bash

 

1.5 bridge模式

见二。

二 bridge模式

2.1 bridge模式简介

bridge模式是Docker默认的网络设置，此模式会为每个容器分配Network Namespace、设置IP等，并将该宿主机上的Docker容器链接到一个虚拟网桥上。

使用docker run -p时，docker会在iptables写入DNAT规则，实现端口转发功能。可以使用如下命令查看。

  1 root@docker:~# iptables -t nat -vnL

 

当Docker server启动时，会在主机上建立一个名为docker0的虚拟网桥，此主机上启动的Docker容器会链接到此虚拟网桥上，所以全部链接到此网桥的容器默认能互相通讯。

虚拟网桥会使该宿主机上全部容器就经过交换机连在了一个二层网络中，宿主机会选择一个和宿主机不一样的IP地址和子网分配给docker0，链接到docker0的容器就今后子网中选择一个未占用的IP使用。

2.2 bridge模式特色

• 使用一个 linux bridge，默认为 docker0；
• 使用 veth 对，一端在容器的网络 namespace 中，另外一端在 docker0 上；
• 该模式下Docker Container不具备一个公有IP，由于宿主机的IP地址与veth pair的 IP地址不在同一个网段内；
• Docker采用 NAT 方式，将容器内部的服务监听的端口与宿主机的某一个端口port 进行“绑定”，使得宿主机之外的网络能够主动将网络报文发送至容器内部；
• 外界访问容器内的服务时，须要访问宿主机的 IP 以及宿主机的端口 port；
• NAT 模式基于三层网络上的实现方式，故确定会影响网络的传输效率；
• 容器拥有独立、隔离的网络栈，以便于使得容器和宿主机之外的网络经过NAT创建通讯；

  1 root@docker:~# docker run -dit --name docker_host5 -p 5005:80 training/webapp python app.py
  2 root@docker:~# docker exec -it docker_host5 /bin/bash
  3 root@951e6cd51cd0:/opt/webapp# ifconfig -a

 

  1 root@docker:~# iptables -t nat -vnL			#查看端口映射

  1 root@docker:~# iptables-save
  2 ……
  3 -A POSTROUTING -s 172.17.0.3/32 -d 172.17.0.3/32 -p tcp -m tcp --dport 80 -j MASQUERADE
  4 ……
  5 -A DOCKER ! -i docker0 -p tcp -m tcp --dport 5005 -j DNAT --to-destination 172.17.0.3:80

 

解释：

-s ：源地址172.17.0.0/16

-o：指定数据报文流出接口为docker0

-j ：动做为MASQUERADE（地址假装）

iptables规则中nat、filter的Docker链中分别增长了一条规则，这两条规则将访问宿主机5005端口的流量转发到了172.17.0.3的80端口上，即真正提供服务的Docker容器IP和端口，所以外界访问Docker容器是经过iptables作DNAT（目的地址转换）实现。

三 docker容器的DNS和主机名

3.1 DNS和主机名配置文件

同一个Docker镜像能够启动不少Docker容器，但各自容器的主机名并不同，即主机名并不是是被写入镜像中。

经过在容器中运行mount命令能够查看/etc/目录下有3个文件，即容器启动后被虚拟文件覆盖的，分别是/etc/hostname、/etc/hosts、/etc/resolv.conf：

  1 root@docker:~# docker run -dit --name docker_host6 centos7-xhy /bin/bash
  2 root@docker:~# docker exec -it docker_host6 /bin/bash
  3 [root@12ac200c6a4c /]# mount
  4 ...
  5 /dev/sda4 on /etc/resolv.conf type ext4 (rw,relatime,data=ordered)
  6 /dev/sda4 on /etc/hostname type ext4 (rw,relatime,data=ordered)
  7 /dev/sda4 on /etc/hosts type ext4 (rw,relatime,data=ordered)
  8 ...

提示：此方式能解决主机名的问题，同时也能让DNS及时更新（改变resolv.conf）。因为这些文件的维护方法随着Docker版本演进而不断变化，所以尽可能不修改这些文件。

3.2 修改dns和主机名

docker容器的dns和主机名配置可经过Docker提供的参数进行相关设置，配置方式以下：

• -h HOSTNAME 或 --hostname=HOSTNAME：设置容器的主机名，此名称会写入/etc/hostname和/etc/hosts文件中，也会在容器的bash提示符看到。可是在外部，容器的主机名是没法查看的，不会出如今其余容器的hosts文件中，即便使用docker ps命令也没法查看。此参数是docker run命令的参数，而非docker daemon的启动参数。
• --dns=IP_ADDRESS...：为容器配置DNS，写入/etc/resolv.conf中。该参数能够在docker daemon 启动的时候设置，也能够在docker run时设置，默认为8.8.8.8或8.8.4.4。

注意：对以上3个文件的修改不会被docker commit保存，即不会保存在镜像中，重启容器也会致使修改失效。

四 多节点docker网络

docker跨主机通讯按原理可经过如下三种方式实现：

• 直接路由方式；
• 桥接方式（如pipework）；
• Overlay隧道方式（如flannel、ovs+gre）等。

Docker 多节点Overlay网络模式能够分为两类:

• 一类是基于 VxLAN ，对跨节点网络的原生支持；
• 另外一种是经过插件（plugin）方式引入的第三方实现方案，好比 Flannel，Calico 等等。

4.1 直接路由方式

在docker所在的不一样宿主机上采用静态路由方式实现。

4.2 桥接-pipework方式

当两台网络已联通的宿主机01和02都存在多个容器组成的集群时，须要相互访问容器应用时，可经过静态指定容器IP为宿主机IP同一个网络的形式，便可实现。

  1 root@docker01:~# apt-get install bridge-utils	#两台docker宿主机都建议安装此工具
  2 root@docker02:~# apt-get install bridge-utils	#两台docker宿主机都建议安装此工具
  3 root@docker01:~# docker run -dit --name container01 --net=none centos:7 /bin/bash
  4 root@docker01:~# docker run -dit --name container02 --net=none centos:7 /bin/bash
  5 root@docker02:~# docker run -dit --name container03 --net=none centos:7 /bin/bash
  6 root@docker02:~# docker run -dit --name container04 --net=none centos:7 /bin/bash
  7 
  8 root@docker01:~# git clone https://github.com/jpetazzo/pipework
  9 root@docker02:~# git clone https://github.com/jpetazzo/pipework
 10 root@docker01:~# cp pipework/pipework /usr/local/bin/
 11 root@docker02:~# cp pipework/pipework /usr/local/bin/
 12 root@docker01:~# chmod u+x /usr/local/bin/pipework
 13 root@docker01:~# brctl show			#查看当前默认的桥接网卡

 

  1 root@docker01:~# pipework br0 container01 172.24.8.201/24@172.24.8.2
  2 root@docker01:~# pipework br0 container02 172.24.8.202/24@172.24.8.2
  3 root@docker02:~# pipework br0 container03 172.24.8.203/24@172.24.8.2
  4 root@docker02:~# pipework br0 container04 172.24.8.204/24@172.24.8.2

 

若提示Warning: arping not found，可采用如下方式安装：apt-get -y install arping

  1 root@docker01:~# brctl show

  1 root@docker02:~# brctl show

提示：

pipework经过network namespace，veth pair以及linux bridge完成容器网络的设置，执行过程大概以下：

• 查看主机是否包含br0（能够自定义）网桥，若是不存在就建立；
• 向容器实例添加一块网卡（能够设置网卡名），并配置相应的固定IP；
• 若容器实例已经有默认的路由，则删除掉，将@后面的IP设置为默认路由的网关；
• 将容器实例链接到建立的br0网桥上。

注意：pipework经过link名字来判断是bridge仍是ovs switch，br开头为网桥, ovs开头为openvswitch，因此pipework建立的网卡必须以br开头。

也可经过如下命令手动提早建立网桥：

  1 root@docker01:~# docker network create --driver bridge --subnet 172.24.8.0/24 --gateway 172.24.8.2 br1
  2 root@docker:~# docker network inspect br1

 

  1 root@docker01:~# ip addr add 172.24.8.90/24 dev br0;\
  2 ip addr del 172.24.8.90/24 dev eth0;\
  3 brctl addif br0 eth0;\
  4 ip route del default;\
  5 ip route add default via 172.24.8.2 dev br0
  6 root@docker02:~# ip addr add 172.24.8.91/24 dev br0 ;\
  7 ip addr del 172.24.8.91/24 dev eth0;\
  8 brctl addif br0 eth0;\
  9 ip route del default;\
 10 ip route add default via 172.24.8.2 dev br0

 

提示：将两台宿主机eth0桥接到br0上，并把eth0的IP配置在br0上。

  1 root@docker01:~# ping 172.24.8.201

注意：pipework设置固定IP的状况下，容器重启后IP会自动消失，须要从新设置。

4.3 基于etcd Docker原生overlay网络

见《007.docker etcd分布式网络部署》

4.4 基于Flannel的overlay网络

Overlay网络指一种网络架构上叠加的虚拟化技术模式，其大致框架是对基础网络不进行大规模修改的状况下，实现应用在网络上的承载，并能与其余网络业务分离，而且以基于IP的网络技术为主。

案例见《008.docker flannel+etcd分布式网络部署》