宿主机的容器是如何经过docker0通讯的？

做者：雪山飞猪

 

 

1、什么是容器网络栈

所谓容器能看见的“网络栈”，被隔离在本身的Network Namespace当中

1. 网卡（network interface）

2. 回环设备（loopback device）

3. 路由表（Routing Table）

4. iptables规则
   固然 ，容器能够直接声明使用宿主机的网络栈：-net=host（不开启Network Namespace），这样能够为容器提供良好的网络性能，可是也引入了共享网络资源的问题，好比端口冲突。
   大多数状况下，咱们但愿容器能使用本身的网络栈，拥有属于本身的IP和端口

2、容器如何和其余不一样Network Namespace的容器交互 ？

1. 将容器看作一台主机，两台主机通讯直接的办法，就是用一根网线链接，若是是多台主机之间通讯，就须要用网络将它们链接到一台交换机上

2. 在linux中，可以起到虚拟交换机做用的设备是网桥（Bridge）
   网桥是一个工做在数据链路层的设备，功能是根据MAC地址学习来将数据包转发到网桥不一样端口上，为了实现上述上的，Docker项目默认在宿主机上建立了一个docker0的网桥，链接在上面的容器，能够经过它来通讯

3、如何把容器链接到docker0网络上

须要一种叫Veth Pair的虚拟设备。当Veth Pair被建立出来后，老是以两张虚拟网卡（Veth Peer）的形式成对出现 ，并且从其中一个网卡出的数据包，能够直接出如今它对应的另外一张网卡上，即便两张卡在不一样的Network Namespace里
这就使Veth Pair经常被用做链接不一样的Network Namspace的网线

4、示例演示

下面将在宿主机启动两个容器，分别是nginx-1和nginx-2演示，nginx-1容器访问nginx-2是如何通讯的

1. 运行一个nginx-1容器

docker run -d --name=nginx-1 nginx

2.查看nginx-1的网络设备

root@d5bfaab9222e:/# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
        inet 172.18.0.2 netmask 255.255.0.0 broadcast 172.18.255.255
        ether 02:42:ac:12:00:02 txqueuelen 0 (Ethernet)
        RX packets 3520 bytes 8701343 (8.2 MiB)
        RX errors 0 dropped 0 overruns 0 frame 0
        TX packets 3010 bytes 210777 (205.8 KiB)
        TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
        inet 127.0.0.1 netmask 255.0.0.0
        loop txqueuelen 1000 (Local Loopback)
        RX packets 0 bytes 0 (0.0 B)
        RX errors 0 dropped 0 overruns 0 frame 0
        TX packets 0 bytes 0 (0.0 B)
        TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

eth0的网卡，是Veth Pari设备的其中一端

3.查看nginx-1的路由表，经过route命令查看

root@d5bfaab9222e:/# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default 172.18.0.1 0.0.0.0 UG 0 0 0 eth0
172.18.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0

全部172.18.0.0/16网段的请求，都交给eth0处理，这是Veth Pair设备的一端，另外一端在宿主机上

4.查看宿主机的网桥

经过brctl show查看

root@VM-0-8-ubuntu:/home/ubuntu# brctl show
bridge name bridge id   STP enabled interfaces
docker0 8000.0242c635ddb8   no  veth4d1c130

能够看到，docker0上插入上veth4d1c130网卡

5.再运行一个nginx-2

docker run -d --name=nginx-2 nginx

6.再查看宿主机网桥

root@VM-0-8-ubuntu:/home/ubuntu# brctl show
bridge name bridge id   STP enabled interfaces
docker0 8000.0242c635ddb8   no  veth4d1c130
       vetha9356e9

能够看到，docker0插上了两张网卡veth4d1c130、 vetha9356e9

此时，当容器nginx-1（172.18.0.2）ping容器nginx-2（172.18.0.3）的时候，就会发现两个容器是能够连通的

5、nginx-1能访问nginx-2的原理是什么？

被限制在Network Namespace的容器进程，是经过Veth Pair设备+宿主机网桥的方式，实现跟其它容器的数据交换

1.nginx-1访问nginx-2时，IP地址会匹配到nginx-1容器的每二条路由规则

172.18.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0

凡是匹配这条规则 的IP包，应该通过本机的eth0网卡，经过二层网络发往目的主机

2.要经过二层网络到达nginx-2 ，须要有172.18.0.3的MAC地址，找到

nginx-1容器须要经过eth0网卡发送一个ARP广播，经过IP来查看对应的MAC地址
这个eth0网卡，是一个Veth Pair，它的一端在nginx-1容器的Network Namespace，另外一端位于宿主机上（Host Namespace），而且插入在了宿主机的docker0网桥上
一旦虚假网卡（veth4d1c130）被插在网桥（docker0）上，调用网络的数据包会被转发给对应的网桥，因此ARC请求会被发给docker0

3.docker0转发数据到到相应的nginx-2

docker0会继续扮演二层交换机的角色，根据数据包的上的MAC地址（nginx-2的MAC地址），在它的CAM表里查对应的端口，会找到vetha9356e9，而后将数据包发往这个端口，这样数据包就到了nginx-2容器的Network Namespace里
nginx-2看到它本身的eth0网卡上出现了流入的数据包，而后对请求进行处理，再返回响应给nginx-1

能够打开iptables的TRACE功能查看数据包的传输过程，经过tail -f /var/log/syslog

# iptables -t raw -A OUTPUT -p icmp -j TRACE
# iptables -t raw -A PREROUTING -p icmp -j TRACE

原理图以下