docker容器的互联

     http://xiaorenwutest.blog.51cto.com     

                 docker容器面向对象的应用

在前面咱们有讲过docker容器的运行的4种模式：

host模式、容器模式、网桥模式以及none模式，各有各的特色，今天主要实现docker容器的互联以及经过pipework工具建立自定义网桥，经过自定义网桥为咱们的容器分配ip地址，另外也可让docker容器本身经过自定义ip地址能够在互联网上进行通讯，（这里知道即可,生产环境下没有必要）不安全。

还有个知识点是将源码包转换为rpm包，减小工做的繁琐流程，提升工做效率。

最后咱们能够将docker容器划分到不一样的vlan做用区域中阻隔它们之间的通讯，减小网络风暴。

 

容器互联

使用--link参数可让容器之间安全的进行交互。

下面先建立一个新的数据库容器。

docker run -dit --name dbserver镜像id

 

而后建立一个新的 web 容器，并将它链接到 db 容器

 

--link 标记的格式： --link name:alias ， name 是咱们要连接的容器的名称， alias 是这个连接的别名。

使用docker ps来查看容器的链接

 

咱们能够看到咱们命名的容器， dbserver 和 web ， dbserver 容器的 names 列有 dbserver 也有 web/dbserver 。这表示 web 容器连接到 db 容器，他们是一个父子关系。在这个 link 中， 2 个容器中有一对父子关系。 docker 在 2 个容器之间建立了一个安全的链接，并且不用映射dbserver容器的端口到宿主主机上。因此在启动 db 容器的时候也不用 -p 和 -P 标记。使用 link 以后咱们就能够不用暴露数据库端口到网络上。

 

注意：你能够连接多个子容器到父容器，好比咱们能够连接多个 web 到 db 容器上。

 

Docker 会添加子容器的 host 信息到父容器的  /etc/hosts  的文件。

下面是父容器 web 的 hosts 文件

 

这里有 2 个 hosts，第一个是 web 容器，web 容器用 id 做为他的主机名，第二个是 dbserver 容器的 ip 和主机名。能够在 web 容器中安装 ping 命令来测试跟dbserver容器的连通。

注意：官方的镜像默认没有安装 ping，须要自行安装，软件包名iputils

 

用 ping 来测试db容器，

 

 

附：在bridge模式下，连在同一网桥上的容器能够相互通讯（若出于安全考虑，也能够禁止它们之间通讯，方法是在DOCKER_OPTS变量中设置--icc=false，这样只有使用--link才能使两个容器通讯）。

 

多台物理主机之间的容器互联（暴露容器到真实网络中）

 

docker  默认的桥接网卡是 docker0 。它只会在本机桥接全部的容器网卡，举例来讲容器的虚拟网卡在主机上看通常叫作 vethxxx，而 docker 只是把全部这些网卡桥接在一块儿，以下：

 

这样就能够把这个网络当作是一个私有的网络，经过 nat  链接外网，若是要让外网链接到容器中，就须要作端口映射，即 -p 参数。

若是在企业内部应用，或则作多个物理主机的集群，可能须要将多个物理主机的容器组到一个物理网络中来，那么就须要将这个网桥桥接到咱们指定的网卡上。

 

 

主机 A 和主机 B 的网卡一都连着物理交换机的同一个 vlan 101, 这样网桥一和网桥三就至关于在同一个物理网络中了，而容器1、容器3、容器四也在同一物理网络中了，他们之间能够相互通讯，并且能够跟同一 vlan 中的其余物理机器互联。

这样就直接把容器暴露到物理网络上了，多台物理主机的容器也能够相互联网了。须要注意的是，这样就须要本身来保证容器的网络安全了。

不一样容器之间的通讯能够借助于 pipework 这个工具

pipework是由Docker的工程师Jérme Petazzoni开发的一个Docker网络配置工具，由200多行shell实现，方便易用。

下载地址：wgethttps://github.com/jpetazzo/pipework.git

unzip  pipework-master.zip

cp  -p  /root/pipework-master/pipework  /usr/local/bin/

安装相应依赖软件

yum install bridge-utils -y

配置桥接网络

 

 

 

 

重启network服务

 

 

 

把 docker 的桥接指定为 br0，这样跨主机不一样容器之间经过 pipework 新建 docker 容器的网卡桥接到 br0，这样跨主机容器之间就能够通讯了。

CentOS 7/RHEL 7系统

#systemctl stop docker

修改/etc/sysconfig/docker

 

#systemctl start docker

pipework

把 docker 默认桥接指定到了 br0，则最好在建立容器的时候加上--net=none，防止自动分配的 IP 在局域网中有冲突。

 

使用镜像运行一个容器

 

注：默认不指定网卡设备名，则默认添加为 eth1

注：另外 pipework 不能添加静态路由，若是有需求则能够在 run 的时候加上 --privileged=true 权限在容器中手动添加，但这种安全性有缺陷，能够经过 ip netns 操做

 

 

 route -n查看路由信息：

 

访问容器提供的web服务：

 

使用ip netns添加静态路由，避免建立容器使用--privileged=true选项形成一些没必要要的安全问题：

 

进入容器查看路由记录：

 

在其它宿主机进行相应的配置，新建容器并使用 pipework 添加虚拟网卡桥接到 br0，测试通讯状况便可。

注：能够删除 docker0，直接把 docker 的桥接指定为 br0。也能够保留使用默认的配置，这样单主机容器之间的通讯能够经过 docker0，而跨主机不一样容器之间经过 pipework 新建docker 容器的网卡桥接到 br0，这样跨主机容器之间就能够通讯了。

 

扩展：

pipework能够在下面用三个场景来使用和工做原理。
1 将Docker容器配置到本地网络环境中
为了使本地网络中的机器和Docker容器更方便的通讯，咱们常常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现，咱们只要将Docker容器和主机的网卡桥接起来，再给Docker容器配上IP就能够了。
下面咱们来操做一下，我主机A地址为192.168.1.102/24,网关为192.168.1.1,须要给Docker容器的地址配置为192.168.1.150/24。在主机A上作以下操做：
安装pipework
下载地址：wgethttps://github.com/jpetazzo/pipework.git

unzip  pipework-master.zip

cp  -p  /root/pipework-master/pipework  /usr/local/bin/
启动Docker容器。
docker run -itd --name test1 镜像 /bin/bash
配置容器网络，并连到网桥br0上。网关在IP地址后面加@指定。
pipework br0 test1 192.168.1.150/24@192.168.1.1
将主机enp0s3桥接到br0上，并把enp0s3的IP配置在br0上。

ip addr add 192.168.1.102/24 dev br0

ip addr del 192.168.1.102/24 dev enp0s3

brctl addif br0 enp0s3

ip route del default

ip route add default via192.168.1.1 dev br0 

注：若是是远程操做，中间网络会断掉，因此放在一条命令中执行。
ip addr add 192.168.1.102/24 dev br0; \ ip addr del 192.168.1.102/24 dev enp0s3; \ brctl addif br0 enp0s3; \ ip route del default; \ ip route add default via192.168.1.1 dev br0 
完成上述步骤后，咱们发现Docker容器已经可使用新的IP和主机网络里的机器相互通讯了。

进入容器内部查看容器的地址：

pipework工做原理分析
那么容器到底发生了哪些变化呢？咱们docker attach到test1上，发现容器中多了一块eth1的网卡，而且配置了192.168.1.150/24的IP，并且默认路由也改成了192.168.1.1。这些都是pipework帮咱们配置的。

·首先pipework检查是否存在br0网桥，若不存在，就本身建立。
   

·建立veth pair设备，用于为容器提供网卡并链接到br0网桥。
   

·使用docker inspect找到容器在主机中的PID，而后经过PID将容器的网络命名空间连接到/var/run/netns/目录下。这么作的目的是，方便在主机上使用ip netns命令配置容器的网络。由于，在Docker容器中，咱们没有权限配置网络环境。
   

·将以前建立的veth pair设备分别加入容器和网桥中。在容器中的名称默认为eth1，能够经过pipework的-i参数修改该名称。
   

·而后就是配置新网卡的IP。若在IP地址的后面加上网关地址，那么pipework会从新配置默认路由。这样容器通往外网的流量会经由新配置的eth1出去，而不是经过eth0和docker0。(若想彻底抛弃自带的网络设置，在启动容器的时候能够指定--net=none)
以上就是pipework配置Docker网络的过程，这和Docker的bridge模式有着类似的步骤。事实上，Docker在实现上也采用了相同的底层机制。
经过源代码，能够看出，pipework经过封装Linux上的ip、brctl等命令，简化了在复杂场景下对容器链接的操做命令，为咱们配置复杂的网络拓扑提供了一个强有力的工具。固然，若是想了解底层的操做，咱们也能够直接使用这些Linux命令来完成工做，甚至能够根据本身的需求，添加额外的功能。

2 单主机Docker容器VLAN划分
pipework不只可使用Linux bridge链接Docker容器，还能够与OpenVswitch结合，实现Docker容器的VLAN划分。下面，就来简单演示一下，在单机环境下，如何实现Docker容器间的二层隔离。
为了演示隔离效果，咱们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络，有不一样的广播域。

安装openvswitch

安装基础环境

  

 

下载openvswitch的包

wgethttp://openvswitch.org/releases/openvswitch-2.3.1.tar.gz

 

解压与打包

tar zxvf openvswitch-2.3.1.tar.gz

mkdir -p ~/rpmbuild/SOURCES

cp openvswitch-2.3.1.tar.gz ~/rpmbuild/SOURCES/

sed's/openvswitch-kmod, //g' openvswitch-2.3.1/rhel/openvswitch.spec > openvswitch-2.3.1/rhel/openvswitch_no_kmod.spec

rpmbuild -bb --without check openvswitch-2.3.1/rhel/openvswitch_no_kmod.spec

 

 

以后会在~/rpmbuild/RPMS/x86_64/里有2个文件

 

安装第一个就行

 

启动

 

或

systemctl start openvswitch

 

查看状态

 

或

 

能够看到是正常运行状态

安装pipework过程略，参考前面的操做

 

建立交换机，把物理网卡加入ovs1

 

 

在主机A上建立4个Docker容器，test1、test2、test3、test4
docker run -itd --name test1 ubuntu /bin/bash

docker run -itd --name test2 ubuntu /bin/bash

docker run -itd --name test3 ubuntu /bin/bash

docker run -itd --name test4 ubuntu /bin/bash
将test1，test2划分到一个vlan中，vlan在mac地址后加@指定，此处mac地址省略。
pipework ovs1 test1 192.168.1.1/24 @100（注：有空格）

pipework ovs1 test2 192.168.1.2/24 @100（注：有空格）
将test3，test4划分到另外一个vlan中
pipework ovs1 test3 192.168.1.3/24 @200（注：有空格）

pipework ovs1 test4 192.168.1.4/24 @200（注：有空格）
完成上述操做后，使用docker attach连到容器中，而后用ping命令测试连通性，发现test1和test2能够相互通讯，但与test3和test4隔离。这样，一个简单的VLAN隔离容器网络就已经完成。
因为OpenVswitch自己支持VLAN功能，因此这里pipework所作的工做和以前介绍的基本同样，只不过将Linux bridge替换成了OpenVswitch，在将veth pair的一端加入ovs0网桥时，指定了tag。底层操做以下：
ovs-vsctl add-port ovs0 veth* tag=100

3 多主机Docker容器的VLAN划分
上面介绍完了单主机上VLAN的隔离，下面咱们将状况延伸到多主机的状况。有了前面两个例子作铺垫，这个也就不难了。为了实现这个目的，咱们把宿主机上的网卡桥接到各自的OVS网桥上，而后再为容器配置IP和VLAN就能够了。咱们实验环境以下，主机A和B各有一块网卡enp0s3，IP地址分别为10.10.101.105/24、10.10.101.106/24。在主机A上建立两个容器test1、test2，分别在VLAN 100和VLAN 200上。在主机B上建立test3、test4，分别在VLAN 100和VLAN 200 上。最终，test1能够和test3通讯，test2能够和test4通讯。

拓扑图以下所示

在主机A上
建立Docker容器
docker run -itd --name test1 ubuntu /bin/bash

docker run -itd --name test2 ubuntu /bin/bash
划分VLAN
pipework ovs0 test1 192.168.0.1/24 @100

pipework ovs0 test2 192.168.0.2/24 @200
将eth0桥接到ovs0上
ip addr add 10.10.101.105/24 dev ovs0

ip addr del 10.10.101.105/24 dev eth0;

ovs-vsctl add-port ovs0 eth0
ip route del default

ip route add default gw 10.10.101.254 dev ovs0
在主机B上
建立Docker容器
docker run -itd --name test3 ubuntu /bin/bash

docker run -itd --name test4 ubuntu /bin/bash
划分VLAN
pipework ovs0 test1 192.168.0.3/24 @100

pipework ovs0 test2 192.168.0.4/24 @200
将eth0桥接到ovs0上
ip addr add 10.10.101.106/24 dev ovs0

ip addr del 10.10.101.106/24 dev eth0;

ovs-vsctl add-port ovs0 eth0

ip route del default

ip route add default gw 10.10.101.254 dev ovs0
完成上面的步骤后，主机A上的test1和主机B上的test3容器就划分到了一个VLAN中，而且与主机A上的test2和主机B上的test4隔离（主机eth0网卡须要设置为混杂模式，链接主机的交换机端口应设置为trunk模式，即容许VLAN 100和VLAN 200的包经过）。

注：除此以外，pipework还支持使用macvlan设备、设置网卡MAC地址等功能。不过，pipework有一个缺陷，就是配置的容器在关掉重启后，以前的设置会丢失。

其中promisc表示网卡混杂模式

其余参数的含义：

UP: 表示网卡开启状态；
BROADCAST: 表示支持广播；
promisc: 表示网卡混杂模式；
RUNNING: 表示网卡的网线被接上；
MULTICAST: 表示支持组播；
MTU: 表示MaximumTrasmission Unit 最大传输单元(字节)，即此接口一次所能传输的最大封包；
RX: 表示网络由激活到目前为止接收的数据包；
TX: 表示网络由激活到目前为止发送的数据包；
collisions: 表示网络信号冲突的状况；
txqueuelen: 表示传输缓冲区长度大小；

 

设置网卡工做模式

#ifconfig 网卡名 promisc 设置混杂

#ifconfig 网卡名 -promisc　取消混杂

 

 

网卡工做模式有4种，分别是：
广播(Broadcast)模式
多播(Multicast)模式
单播模式（Unicast）
混杂模式（Promiscuous）
在混杂模式下的网卡可以接收一切经过它的数据，而无论该数据目的地址是不是它。若是经过程序将网卡的工做模式设置为“混杂模式”，那么网卡将接受全部流经它的数据帧，这实际上就是Sniffer工做的基本原理：让网卡接收一切他所能接收的数据。Sniffer就是一种能将本地网卡状态设成混杂（promiscuous）状态的软件，当网卡处于这种"混杂"方式时，它对全部遇到的每个数据帧都产生一个硬件中断以便提醒操做系统处理流经该物理媒体上的每个报文包。可见，Sniffer工做在网络环境中的底层，它会拦截全部的正在网络上传送的数据，而且经过相应的软件处理，能够实时分析这些数据的内容，进而分析所处的网络状态和总体布局。