讲清楚说明白openstack中vm流量走向之2——DVR模式

1、背景介绍

上一篇文章已经介绍过，在集中式网络节点模式下，全部的计算节点只安装二层代理，全部三层流量不管是南北或东西走向都必须通过网络节点，尽管能够经过HA的方式保证网络节点的高可用，可是基于vrrp的HA方式同一时间点只有一个网络节点处于工做状态，这样在大规模场景下网络节点仍然会成为性能瓶颈，为此openstack社区从Juno版本开始推出的DVR模式来解决上述问题，须要说明的是：在Mitaka版本以前DVR与L3 HA功能不能同时启用，从Mitaka版本以后才支持DVR与L3 HA功能同时开启。

2、DVR介绍

为了解决网络节点的流量瓶颈问题，DVR经过在计算节点部署L3 Agent，让不一样subnet之间的东西流量和绑定floating ip的vm的南北流量直接经过计算节点访问外网，只有未绑定floating ip的vm的南北南北流量才须要经过网络节点SNAT访问外网，此时的集群架构以下图所示：

不一样于集中式网络节点中全部计算节点只走二层流量，DVR模式下，每一个计算节点均可以走3层流量，以此来分摊网络节点的流量压力。

3、网络、计算节点的内部组件

1.网络节点

DVR模式下，网络节点内部组件此时以下图所示：

能够看到，启用DVR模式后的网络节点多了一个SNAT Namespace空间。在在全部计算节点都开启DVR功能时，Router Namespace中的Metadata Agent只负责处理Project网络中的元数据，SNAT Namespace空间负责对只有fix ip的vm经过源地址转换的方式访问外网。若是全部的计算节点将DVR模式关闭，此时vm的流量和集中式网络节点一致，即全部的三层流量都须要通过网络节点的Router Namespace处理。

2.计算节点

当开启DVR功能后，此时计算节点内部组件以下图所示：

启用DVR功能的计算节点由于部署了L3 Agent组建，因此拥有Distribute Router NameSpace，而且当建立vm时，还会自动生成fip名称空间，全部计算节点的Distribute Router NameSpace彻底一致，名称空间接口的ip和mac地址也同样（初始化时全部计算节点的名称空间都是源自网络节点的副本），了解网络的都知道，同一时间同一网络中ip与mac地址要一致，不然交换经过反复mac地址学习到的arp表条目会有冲突，为了解决这一问题，DVR结构为每一个运行L3 Agent的计算节点指定全局惟一的mac地址（dvr_host_mac）。

4、vm的东西流量分析

相同subnet下vm之间的流量走向与集中式网络节点相似，此处不在赘述，下面以不一样subnet之间vm的vxlan流量走向为例进行说明，此时vm间流量走向以下图所示：

1.位于compute1中的vm1向compute2中的vm2发出请求。此时源/目的ip为vm1/2的ip地址，源/目的mac地址为vm1与网关qr-1的mac地址。
2.报文通过linux bridge进行iptables安全检查，而后送往br-int。
3.进入br-int上的报文被打上内部vlan号并送往vm1的网关qr-1，qr-1接口上配置vm1的网关地址，经查表报文从qr-2口流出，qr-2接口设置vm2的网关地址。
4.从qr-2口出来的报文，此时源/目的ip为vm2网关（qr-2）的ip和vm2的ip地址，源/目的mac为qr-2口mac和vm2的mac地址，并将报文进入br-tun。
5.报文在br-tun交换机上将源mac地址（qr-2）换为全局惟一mac地址（dvr_host_mac），而后进行vxlan封装，离开compute1。
6.报文到达compute2后首先vxlan解封装，而后再将源mac地址（dvr_host_mac）换为vm2网关（qr-2）mac地址，送往br-int并在br-int交换机打上内部vlan号。
7.报文脱掉内部vlan号，进入linux bridge，进行安全策略检查。
8.最终数据报文达到vm2。
vm2数据报文返回的过程与数据报文到达vm2的过程一致，再也不赘述。

5、vm的南北流量分析

vm南北流量分为floating ip和fix ip两种状况，对这两种状况分别进行说明：

1.fix ip访问外网

没有绑定floating ip的vm在访问外网时须要经过网络节点的SNAT Router NameSpace进行地址转换，其流量走向以下图所示：

1.vm向外网发起请求，数据报文送往linux bridge。
2.进入linux bridge的数据报文通过iptables安全策略检查后将报文送往br-int，此时打上内部vlan号。
3.数据报文从br-int送往Router NameSpace的qr口，该接口配置了vm的网关地址，在Router NameSpace内对Snet NameSpace的sg口的mac地址进行解析，sg接口为vm所在子网的接口，该接口上的ip地址与vm在同一网段。而后将报文送往br-tun。
4.数据报文进入br-tun后脱掉内部vlan号，进行vxlan封装，打上vni号，离开conpute1.
5.数据报文进入Network节点，脱掉vni号，进行vxlan解封装，送往br-int交换机，进入br-int交换机后打上内部vlan号。
6.数据报文进入sg后，进行路由查表，将数据发往fg口，fg口上配置的是可被路由的公网ip。
7.数据报文在fg口上进行SNAT地址转换，转换后的源ip地址为fg口上配置的公网ip访问公网。

2.floati ip访问外网

启用DVR功能后每台计算节点主机都安装了L3 Agent，绑定了floating ip的vm再也不须要绕行到网络节点，直接由计算节点主机访问呢公网，其流量走向以下图所示：

1.vm向外网发起访问，因为vm是provider类型的私网地址，因此首先要去找vm地址所在的网关。
2.数据报文通过linux bridge和br-int后进入Distribute NameSpace的qr口，该接口配置的ip地址为vm的网关地址。
3.数据报文从qr口流出，进入rfp口，该接口上配置有2个ip地址，其中3为vm绑定的floating ip地址，在此处进行SNAT地址转换，外网流量访问vm时在此名称空间利用iptables作DNAT地址转换。
4.经过qrouter与fip内部通讯的直链接口（4），接口地址由L3 Agent自行维护，ip为169.254.x.x/31格式，将数据包发往fip名称空间。
5.fip空间的直链接口fpr接收到数据包后，转发给外网网关fg口。
6.fip名称空间外网网关接口将数据包发到br-ex交换机最后经过物理网卡访问internet，外网访问vm的数据流向为该过程的逆方向，此处再也不赘述。

3.注意事项

针对使用floating ip的数据包进出时须要注意的地方是：
1.fg接口上会额外配置一个外网ip地址，这也是为何公有云场景下不会将vm外网ip直接设置成公网ip地址的缘由，由于每一个计算主机都须要一个额外的地址做为fg网关地址。
2.当外部网络访问vm时，请求的ip地址是qrouter名称空间中rfp接口上作SNAT的ip地址，但此时fg接口会响应rfp接口上外网ip的arp地址解析请求，因此一般认为fg接口是floating ip的arp代理接口。

6、网络节点HA

经过前文得知，开启DVR模式下的网络节点只是针对没有绑定floating ip的vm进行SNAT地址转换，而且qrouter名称空间只处理元数据，因此不一样于传统L3 HA对Router NameSpace的高可用，DVR下的L3 HA是对SNAT NameSpace进行的高可用，仍采用vrrp实现，以下图所示：

从部署结构来看，分别要对SNAT外网ip地址和子网接口ip地址作高可用，因此当使用keepalive时，此时架构以下图所示：