Openstack 虚拟机通信

一、虚拟机南北通信：

环境：
External network:

Network 203.0.113.0/24
IP address allocation from 203.0.113.101 to 203.0.113.200
Project network router interface 203.0.113.101 TR

Project network

Network 192.168.1.0/24
Gateway 192.168.1.1 with MAC address TG
Compute node 1
Instance 1 192.168.1.11 with MAC address I1

Instance 1 resides on compute node 1 and uses a project network.
The instance sends a packet to a host on the external network.

过程：

涉及到计算节点的过程：
instance 经过qbr设备上的qvb-qbr-qvo 携带本身的mac地址以及目的地址和网关以及tag
经过qbr桥生的安全组
qbr桥将流量转送到br-int上
br-int桥为project 网络打上相应的tag
For VLAN project networks
br-init-->br-vlan
br-vlan 替换tag为真实的tag
br-vlan 把包转发到网络节点的br-vlan
涉及到网络节点
刚刚从compute节点的br-vlan的包经过交换机传送到网络节点的br-vlan上
br-vlan把包转发给br-int桥
br-int把真实的tag转换为ovs本身认的tag。br-int上面有qroute的接口（qr）设备，包含interface的gw 和tag
经过qroute的namespace 中的iptables规则把qr作为source nat到 qg设备上，能够查看namespace里面的ip信息

[root@cloud02 ~]#
查看Iptables规则
neutron-l3-agent-float-snat all -- anywhere anywhere
SNAT all -- anywhere anywhere to:10.10.255.226
SNAT all -- anywhere anywhere mark match ! 0x2/0xffff ctstate DNAT to:10.10.255.226
br-int 转发到br-ex上，再从br-ex到外网的子接口。
此时Snat已经所有完成。

二、带有FloatingIP的虚拟机南北流量

环境：
External network

Network 203.0.113.0/24
IP address allocation from 203.0.113.101 to 203.0.113.200
Project network router interface 203.0.113.101 TR
Project network
Network 192.168.1.0/24
Gateway 192.168.1.1 with MAC address TG
Compute node 1
Instance 1 192.168.1.11 with MAC address I1 and floating IP address 203.0.113.102 F1
Instance 1 resides on compute node 1 and uses a project network.
The instance receives a packet from a host on the external network.
过程
经过网络节点：
经过外部接口转发到br-ex上，br-ex转发到br-int上
br-ex的qg设备转到qrouter上面的qg设备


在qruoter的namesapce查看iptables nat规则

查看IP为“10.0.0.5” 的虚拟机

能够查看到router里面的flouting-ip对应的dnat是和虚拟机的project ip是一一对应的。
经过route把包转送到br-int。br-init 传送到br-vlan ,并打上真实的tag.
从接口到达交换机。

通过计算节点
计算节点的br-vlan 收到包后，传送给br-init，br-int 把tag转换为ovs本身的内部tag.。而后通过qvb和qvo着一对peer 到达qbr桥，从而到达到达tap设备。如图：

虚拟机之间在不一样的网络通信：

环境：

Project network 1
Network: 192.168.1.0/24
Gateway: 192.168.1.1 with MAC address TG1

Project network 2
Network: 192.168.2.0/24
Gateway: 192.168.2.1 with MAC address TG2
Compute node 1
Instance 1: 192.168.1.11 with MAC address I1
Compute node 2
Instance 2: 192.168.2.11 with MAC address I2
Instance 1 resides on compute node 1 and uses project network 1.
Instance 2 resides on compute node 2 and uses project network 2.
Both project networks reside on the same router.
Instance 1 sends a packet to instance 2.

经过compute01的：

tap设备经过qvb和qvo把qbr桥和br-int桥链接起来，从而到达br-int上
br-int把包转发给br-vlan上，br-vlan打上真实的tag，而后经过接口发给交换机。
经过network 节点的：
br-vlan接收到compute01上br-vlan发送的包，br-vlan 把包转发给br-int。 br-int把tag替换为本身能识别的tag
br-int把包发给qrouter 的qbr-1 接口。而且携带自身的网关信息。
路由经过route功能把qbr-1的包发送给qbr-2.
qbr-2 经过转发到达br-int上
br-init 把包转发给br-vlan，br-vlan把tag替换为真实的tag
br-vlan 把包发给network-2 的网桥上，br-vlan 把包发给compute-2的节点上
经过compute02节点的
计算节点2 接收到网络节点br-vlan的包。
br-vlan===> br-int
br-int ===>qbr===>tap

总结：
一、相同网络不一样节点上的虚拟机互相通信不通过网络节点
二、不通网络相互通信通过网络节点
三、相同网络部同计算节点的虚拟机 互相通信 直接走br-int

参考链接：
https://docs.openstack.org/liberty/networking-guide/scenario-classic-ovs.html