kubernetes容器网络接口(CNI) midonet网络插件的设计与实现

相关原理概述

先来说讲什么是CNI?

CNI（容器网络接口）是一种操做容器网络规范，包含方法规范，参数规范等。 CNI只关心容器的网络链接，在容器建立时分配网络资源，并在删除容器时删除分配的资源。由于这个焦点，CNI有普遍的支持，规格易于实现。CNI接口只须要实现两个方法，一个建立容器时调用，一个删除容器时调用。

Kubernetes如何支持和运行遵循CNI规范的插件

kubernetes首先以插件的形式完成(pod)容器的网络资源设置。内置的插件包括:cni,kubenet,hostport等。这里简单说说kubenet。这是一个简单的网络插件，每台机器上建立一个br0网桥，根据PodCIDR为每一个pod设置ip链接到br0网桥上。次方式可结合一些网络路由工具完成一个小规模的集群网络pod互联。咱们主要讲CNI插件。kubernetes以cni插件来支持cni规范，调用其余厂商和我的开发的遵循cni规范的各类网络插件，例如Calico,Flannel等。k8s默认状况下cni模式不支持端口映射等。k8s将容器网络设置none,彻底交给插件去管理容器网络资源。

上文屡次提到的网络资源是什么？

容器网络资源包括：虚拟网卡,IP地址，DNS,网络路由等等。容器使用独立的网络命名空间，能够具备本身的网络资源信息。这些信息数据由不一样的CNI插件根据不一样的SDN网络的实现给容器配置。

MidoNet SDN网络

MidoNet是由日本的SDN公司Midkura研发的一款网络虚拟化软件，其基于底层物理设施来实现网络虚拟化，具备分布式、分散、多层次的特色，主要做为OpenStack中的默认网络组件，可让虚拟网络解决方案，特别是专为网络基础设施设计的方案，为云平台如OpenStack服务，而且将其网络存贮栈虚拟化。MidoNet为每一个租户分配一个逻辑router,租户与租户之间是相互隔离的，租户内部之间是可以相互通信的，Midonet支持L2交换、L3路由、L4负载均衡

有状态和无状态NAT，逻辑和分布式防火墙，BGP与ECMP支持。其架构主要包含如下组件：

Midolman（Midonet Agent）：Midonet

Agent安装在各个计算节点，负责创建网络流量控制和提供分布式Midonet网络服务，路由，NAT等他把相关的虚拟网络信息存放到NSDB。

Network State

Database(NSDB):存储网络配置和状态，网络拓扑，路由，Midonet不集中处理网络功能，由Midonet Agent处理，Midonet Agent会跟NSDBs作实时同步当有变化时候会及时同步而且更新NSDB MidoNet支持大规模SDN集群，其架构理论上支持上万节点。咱们可使用MidoNet完成k8s集群内租户内Pod网络互联。

MidoNet多租户下网络结构模型

SDN(软件定义网络)，Midonet软件定义你所熟知的网络组件。如下简单介绍几个核心的软件定义概念：

• Router(路由器)
  一个租户对应一个Router,链接到同一个Router的Bridge网络互通。Midonet会建立一个PrivierRouter，全部租户Router链接到PrivierRouter与外网互通。等价于一个路由器内网互通，链接上级路由器接入公网。
• Bridge(网桥)
  一个租户下能够有多个Bridge，每一个Bridge使用不一样的网段。例如一个Bridge网段为192.168.0.0/24，最多能够有253个虚拟设备链接到本Bridge。
• Port(设备通讯端口)
  Router与Router之间，Router与Bridge之间的通讯接口。
• Route(路由)
  路由规则，给Router定义流量包转发端口的规则。
• Rule(过滤规则)
  定义包过滤条件。相似于iptables。

基于MidoNet的kubernetes CNI插件实现

Midonet数据交换工做在三层，可是其自己不提供IP地址管理(IPAM),所以基于Midonet的cni插件须要完成如下工做：IPAM,租户Router、Bridge建立，容器网卡建立，以及全部端到端链接和路由过滤规则建立。

IPAM

须要完成两个层面的IP管理，Router级别的地址管理，每个Router具备一个IP地址，且全局惟一不冲突。每个Bridge具备一个惟一网段，链接的虚拟网卡具备全局惟一IP 。
IPAM有不少实现方式，CNI插件是无状态应用，或许你须要一个守护进程来完成IPAM工做。基于简化架构的思路，咱们使用ETCD来存储IP数据，直接由插件来操做ETCD。完成IP的使用和释放。

租户网络初始化

当新租户第一次建立容器时进行租户虚拟设备的初始化建立，上文咱们已经介绍了一个租户须要建立的虚拟设备有哪些，这里我讲讲细节。 Midonet提供了Rest-API来操做虚拟设备。这里注意，根据使用的不一样版本的Midonet使用不一样版本的API。 https://github.com/barnettZQG/golang-midonetclient
封装了golang版的Midonet api操做方法，支持1.*和5.*API版本。 建立步骤以下：

1. 建立租户，调用Keystone API。
2. 建立Router，并包含建立进出Chain。
3. 建立PrivierRouter Port并赋IP,建立Router Port并赋IP。建立PortLink链接两个Port。
4. 为前面建立的Chain建立对应的路由规则
5. 为前面建立的Port建立包过滤规则
6. 建立一个默认的Bridge。并建立Port连上Router。
7. 存储以上建立的相关数据进ETCD.

容器网卡建立和网络绑定

Virtual Ethernet Pair

简称veth pair,是一个成对的端口,全部从这对端口一 端进入的数据包都将从另外一端出来,反之也是同样.其两端可存在于不一样的网络空间（Network Namespace）。容器建立成功后具备一个网络空间，k8s此时调用CNI插件ADD方法进行网络设置。插件首先建立一对Veth pair。将其一端置于宿主机网络空间，调用Midonet 绑定API将其与Bridge一个Port绑定。另外一端在容器内并赋予IP地址，根据当前使用的Bridge网段。 与Docker0网卡部分原理一致。

设置容器内路由规则

将默认路由设置到上文建立的网卡上。例如上文建立的网卡命名为eth0。

设置DNS

根据须要设置一些DNS信息。

怎么实现操做？

1.使用shell命令。

ip link *
ip netns *
ip address *
ip route *

以上命令详细使用方法网上不少了，这里再也不描述。

2. golang netlink library

https://github.com/vishvananda/netlink 定义了关于网卡相关与linux内核通讯的用户空间的相关接口。

CNI插件实现的注意事项

1. CNI插件的添加和删除操做应该具备幂等性，即一样的参数传入无论调用多少次都应该有相同的效果。
2. CNI插件应该支持并发性，主要是租户相关组件的建立和IP地址分配的强一致性。
3. CNI插件有必定的规范，请参考：https://github.com/containernetworking/cni

好雨云Midonet cni插件开源

好雨云开源基于ETCD版的的midonet cni插件具备上文提到的全部功能和特性。 github:https://github.com/goodrain/midonet-cni