kubernetes之flannel 网络分析

时间 2021-01-02

标签 node nginx redis docker shell 数据库 api ruby bash 网络栏目系统网络繁體版

原文原文链接

Flannel是kubernetes的CNI网络插件之一，实质上是一种主机 overlay网络。flannel支持多种网络转发模式，经常使用的是vxlan、hostgw等，咱们这里以经常使用的 udp VXLAN协议讲解。node

1. Flannel 特色

使集群中的不一样Node主机建立的Docker容器都具备全集群惟一的虚拟IP地址。 nginx
创建一个覆盖网络（overlay network），经过这个覆盖网络，将数据包原封不动的传递到目标容器。覆盖网络是创建在另外一个网络之上并由其基础设施支持的虚拟网络。覆盖网络经过将一个分组封装在另外一个分组内来将网络服务与底层基础设施分离。在将封装的数据包转发到端点后，将其解封装。 redis
建立一个新的虚拟网卡flannel0接收docker网桥的数据，经过维护路由表，对接收到的数据进行封包和转发（vxlan）。 docker
etcd保证了全部node上flanned所看到的配置是一致的。同时每一个node上的flanned监听etcd上的数据变化，实时感知集群中node的变化。

2. 各个组件的解释：

Cni0 :网桥设备，每建立一个pod都会建立一对 veth pair。其中一端是pod中的eth0，另外一端是Cni0网桥中的端口（网卡）。Pod从网卡eth0发出的流量都会发送到Cni0网桥设备的端口（网卡）上。 shell

Cni0 设备得到的ip地址是该节点分配到的网段的第一个地址。数据库

Flannel.1: overlay网络的设备，用来进行 vxlan 报文的处理（封包和解包）。不一样node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。api

Flanneld：flannel在每一个主机中运行flanneld做为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内全部容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac，ip等网络数据信息。 ruby

3. 不一样node上的pod的通讯流程：

pod中产生数据，根据pod的路由信息，将数据发送到Cni0 bash
Cni0 根据节点的路由表，将数据发送到隧道设备flannel.1网络
Flannel.1查看数据包的目的ip，从flanneld得到对端隧道设备的必要信息，封装数据包。
Flannel.1将数据包发送到对端设备。对端节点的网卡接收到数据包，发现数据包为overlay数据包，解开外层封装，并发送内层封装到flannel.1设备。
Flannel.1设备查看数据包，根据路由表匹配，将数据发送给Cni0设备。
Cni0匹配路由表，发送数据给网桥上对应的端口。

测试集群 k8s定义的flannel网络(POD CIDR) 为172.20.0.0/16。

下面用用案例解释网络内不一样POD间通讯的一个网络实现吧

10.19.114.100 - pod1 路由
#kubectl -n stack exec -it api-0 -- bash
#ip route show
default via 172.20.0.1 dev eth0 
172.20.0.0/24 dev eth0 proto kernel scope link src 172.20.0.73
172.20.0.0/16 via 172.20.0.1 dev eth0

10.19.114.101 - pod2 路由
#kubectl -n stack exec -it redis-64c6c549ff-5plcq -- bash
#ip route show
default via 172.20.1.1 dev eth0 
172.20.0.0/16 via 172.20.1.1 dev eth0 
172.20.1.0/24 dev eth0 proto kernel scope link src 172.20.1.11

由此可看出，默认POD 网卡网关走 .1 网关，而网关即为cni0 的IP，下一步分析流量到了宿主机以后的走向~~

10.19.114.100 宿主机路由
#ip route -n
default via 10.19.114.1 dev eth0 
10.19.114.0/24 dev eth0 proto kernel scope link src 10.19.114.100 
10.250.250.0/24 dev eth1 proto kernel scope link src 10.250.250.100 
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 
172.20.0.0/24 dev cni0 proto kernel scope link src 172.20.0.1 
172.20.1.0/24 via 172.20.1.0 dev flannel.1 onlink 
172.20.2.0/24 via 172.20.2.0 dev flannel.1 onlink

10.19.114.101 宿主机路由
#ip route -n
default via 10.19.114.1 dev eth0 
10.19.114.0/24 dev eth0 proto kernel scope link src 10.19.114.101 
10.250.250.0/24 dev eth1 proto kernel scope link src 10.250.250.101 
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 
172.20.0.0/24 via 172.20.0.0 dev flannel.1 onlink 
172.20.1.0/24 dev cni0 proto kernel scope link src 172.20.1.1 
172.20.2.0/24 via 172.20.2.0 dev flannel.1 onlink

由如上路由可知，据最小匹配原则，匹配到上面的一条路由表项。从10.19.114.100 上去往172.20.1.0/24 网段的包，发送172.20.1.0 网关，网关设备是flannel.1
flannel.1为vxlan设备，当数据包来到flannel.1时，须要将数据包封装起来。此时的dst ip 为172.20.1.11，src ip为172.20.0.73。数据包继续封装须要知道172.20.1.11 ip地址对应的mac地址。

此时，flannel.1不会发送arp请求去得到172.20.1.11 的mac地址，而是由Linux kernel将一个“L3 Miss”事件请求发送的用户空间的flanned程序。

Flanned程序收到内核的请求事件以后，从etcd查找可以匹配该地址的子网的flannel.1设备的mac地址，即发往的pod所在host中flannel.1设备的mac地址。Flannel在为Node节点分配ip网段时记录了全部的网段和mac等信息，因此可以知道。

#ip neigh |grep 172
172.20.2.0 dev flannel.1 lladdr 82:c4:0e:f2:00:6f PERMANENT
172.20.1.0 dev flannel.1 lladdr 42:6e:8b:9b:e2:73 PERMANENT

到这里，vxlan的内层数据包就完成了封装。格式是这样的：

VXLAN的转发过程主要依赖于FDB(Forwarding Database)实现, VXLAN设备根据MAC地址来查找相应的VTEP IP地址，继而将二层数据帧封装发送至相应VTEP。

#/sbin/bridge fdb show dev flannel.1
42:6e:8b:9b:e2:73 dst 10.19.114.101 self permanent
ba:8b:ce:f3:b8:51 dst 10.19.114.101 self permanent
42:6f:c7:06:3e:a0 dst 10.19.114.102 self permanent
82:c4:0e:f2:00:6f dst 10.19.114.102 self permanent

kernel须要查看node上的fdb(forwarding database)以得到内层封包中目的vtep设备所在的node地址。由于已经从arp table中查到目的设备mac地址为42:6e:8b:9b:e2:73，同时在fdb中存在该mac地址对应的node节点的IP地址。

若是fdb中没有这个信息，那么kernel会向用户空间的flanned程序发起”L2 MISS”事件。flanneld收到该事件后，会查询etcd，获取该vtep设备对应的node的”Public IP“，并将信息注册到fdb中。

当内核查看fdb得到了发往机器的ip地址后，arp获得mac地址，以后就能完成vxlan的外层封装。

具体能够经过wireshark抓包分析

10.19.114.101节点的eth0网卡接收到vxlan设备包，kernal将识别出这是一个vxlan包，将包拆开以后转给节点上的flannel.1设备。这样数据包就从发送节点到达目的节点，flannel.1设备将接收到一个以下的数据包

目的地址为172.20.1.11，到达10.19.114.101 flannel.1后查找本身的路由表，根据路由表完成转发，由下图可知，flannel.1将去往172.20.1.0/24的流量转发到cni0上去。

查看cni0网桥信息, cni0 网络经过绑定pod 的网卡和宿主机网卡，经过veth实现通讯

#brctl show
bridge name     bridge id               STP enabled     interfaces
cni0            8000.a656432b14cf       no              veth1f7db117
                                                        veth3ee31d24
                                                        veth521bc030
                                                        veth5a59ced4
                                                        veth649412bd
                                                        veth65bbf59f
                                                        veth6ed62916
                                                        veth7e8e7733
                                                        veth9787b6ba
                                                        veth98c762b8
                                                        vethaf05d94b
                                                        vethc07c69cd
                                                        vethdf62bded
                                                        vethe2cf7392
                                                        vethf4995a29
docker0         8000.024216a031b6       no

由下图可知 172.20.1.11 的POD 网卡对应 link-netnsid 0

由下图可知 172.20.1.11 的POD 网卡在宿主机上的veth 为 vethf4995a29

因此在cni0网桥上挂载的pod的veth pair为vethf4995a29 ， eth0@if21和vethf4995a29@if3组成的一对veth，pair。从而将流量注入到pod的eth0网卡上。

文章转自：360云计算