neutron网络实践

1、虚拟机获取 ip：

用 namspace 隔离 DHCP 服务

Neutron 经过 dnsmasq 提供 DHCP 服务，而 dnsmasq 经过 Linux Network Namespace 独立的为每一个 network 服务隔离

在二层网络上，VLAN 能够将一个物理交换机分割成几个独立的虚拟交换机。相似地，在三层网络上，Linux network namespace 能够将一个物理三层网络分割成几个独立的虚拟三层网络。

每一个 namespace 都有本身独立的网络栈，包括 route table，firewall rule，network interface device 等。

Neutron 经过 namespace 为每一个 network 提供独立的 DHCP 和路由服务，从而容许租户建立重叠的网络。若是没有 namespace，网络就不能重叠，这样就失去了不少灵活性。

每一个 dnsmasq 进程都位于独立的 namespace, 命名为 qdhcp-<network id>，例如 flat_net：

ip netns list         命令列出全部的 namespace ip netns exec <network namespace name> <command>        管理 namespace

root namespace：

其实，宿主机自己也有一个 namespace，叫 root namespace，拥有全部物理和虚拟 interface device。物理 interface 只能位于 root namespace。

新建立的 namespace 默认只有一个 loopback device。管理员能够将虚拟 interface，例如 bridge，tap 等设备添加到某个 namespace。

对于 flat_net 的 DHCP 设备 tap19a0ed3d-fe，须要将其放到 namespace qdhcp-7bf09be4-8653-4869-84f0-33494f238627 中，但这样会带来一个问题：tap19a0ed3d-fe 将没法直接与 root namespace 中的 bridge 设备 brqf153b42f-c3 链接。

Neutron 使用 veth pair 解决了这个问题。

veth pair 是一种成对出现的特殊网络设备，它们象一根虚拟的网线，可用于链接两个 namespace。向 veth pair 一端输入数据，在另外一端就能读到此数据。

tap19a0ed3d-fe 与 ns-19a0ed3d-fe 就是一对 veth pair，它们将 qdhcp-f153b42f-c3a1-4b6c-8865-c09b5b2aa274 链接到 brqf153b42f-c3。

以下图所示：

能够经过 ip netns exec qdhcp-7bf09be4-8653-4869-84f0-33494f238627 ip a命令查看ns-ba07bb93配置：

获取 dhcp IP 过程分析

在建立 instance 时，Neutron 会为其分配一个 port，里面包含了 MAC 和 IP 地址信息。这些信息会同步更新到 dnsmasq 的 host 文件。以下图所示：

同时 nova-compute 会设置虚机 VIF 的 MAC 地址。

 

一切准备就绪，instance 获取 IP 的过程以下：

1. vm 开机启动，发出 DHCPDISCOVER 广播，该广播消息在整个 net 中均可以被收到。

2. 广播到达 veth tap19a0ed3d-fe，而后传送给 veth pair 的另外一端 ns-19a0ed3d-fe。dnsmasq 在它上面监听，dnsmasq 检查其 host 文件，发现有对应项，因而dnsmasq 以  DHCPOFFER 消息将 IP（192.168.254.18）、子网掩码（255.255.255.0）、地址租用期限等信息发送给 vm。

3. vm 发送 DHCPREQUEST 消息确认接受此 DHCPOFFER。

4. dnsmasq 发送确认消息 DHCPACK，整个过程结束。

2、VXLAN简介：

overlay network概念：

overlay network 是指创建在其余网络上的网络。overlay network 中的节点能够看做经过虚拟（或逻辑）链路链接起来的。overlay network 在底层可能由若干物理链路组成，但对于节点，不须要关心这些底层实现。

例如 P2P 网络就是 overlay network，隧道也是。vxlan 和 gre 都是基于隧道技术实现的，它们也都是 overlay network。

目前 linux bridge 只支持 vxlan，不支持 gre；

open vswitch 二者都支持。vxlan 与 gre 实现很是相似，并且 vxlan 用得较多，因此本教程只介绍 vxlan。

VXLAN简介：（之后会问到大家二层虚拟化网络用到的是什么类型啊，你说vxlan，那为何不用vlan呢，这就要说出vxlan的优点了）

VXLAN 为 Virtual eXtensible Local Area Network。正如名字所描述的，VXLAN 提供与 VLAN 相同的以太网二层服务，但拥有更强的扩展性和灵活性。与 VLAN 相比，

VXLAN 有下面几个优点：

1. 支持更多的二层网段。

VLAN 使用 12-bit 标记 VLAN ID，最多支持 4094 个 VLAN，这对大型云部署会成为瓶颈。VXLAN 的 ID （VNI 或者 VNID）则用 24-bit 标记，支持 16777216 个二层网段。

2. 能更好地利用已有的网络路径。

VLAN 使用 Spanning Tree Protocol 避免环路，这会致使有一半的网络路径被 block 掉。VXLAN 的数据包是封装到 UDP 经过三层传输和转发的，可使用全部的路径。

3. 避免物理交换机 MAC 表耗尽。

因为采用隧道机制，TOR (Top on Rack) 交换机无需在 MAC 表中记录虚拟机的信息。

VXLAN 封装和包格式：

VXLAN 是将二层创建在三层上的网络。经过将二层数据封装到 UDP 的方式来扩展数据中心的二层网段数量。

VXLAN 是一种在现有物理网络设施中支持大规模多租户网络环境的解决方案。VXLAN 的传输协议是 IP + UDP。

VXLAN 定义了一个 MAC-in-UDP 的封装格式。在原始的 Layer 2 网络包前加上 VXLAN header，而后放到 UDP 和 IP 包中。经过 MAC-in-UDP 封装，VXLAN 可以在 Layer 3 网络上创建起了一条 Layer 2 的隧道。

VXLAN 包的格式以下：

如上图所示，VXLAN 引入了 8-byte VXLAN header，其中 VNI 占 24-bit。VXLAN 和原始的 L2 frame 被封装到 UDP 包中。这 24-bit 的 VNI 用于标示不一样的二层网段，可以支持 16777216 个 LAN。

VXLAN Tunnel Endpoint

VXLAN 使用 VXLAN tunnel endpoint (VTEP) 设备处理 VXLAN 的封装和解封。每一个 VTEP 有一个 IP interface，配置了一个 IP 地址。VTEP 使用该 IP 封装 Layer 2 frame，并经过该 IP interface 传输和接收封装后的 VXLAN 数据包。

下面是 VTEP 的示意图：

VXLAN 独立于底层的网络拓扑；反过来，两个 VTEP 之间的底层 IP 网络也独立于 VXLAN。VXLAN 数据包是根据外层的 IP header 路由的，该 header 将两端的 VTEP IP 做为源和目标 IP。

VXLAN 封装和转发包的过程，以及 Linux 对 VXLAN 的原生支持

VXLAN 包转发流程

VXLAN 在 VTEP 间创建隧道，经过 Layer 3 网络传输封装后的 Layer 2 数据。下面例子演示了数据如何在 VXLAN 上传输：

 

图中 Host-A 和 Host-B 位于 VNI 10 的 VXLAN，经过 VTEP-1 和 VTEP-2 之间创建的 VXLAN 隧道通讯。数据传输过程以下：

1. Host-A 向 Host-B 发送数据时，Host-B 的 MAC 和 IP 做为数据包的目标 MAC 和 IP，Host-A 的 MAC 做为数据包的源 MAC 和 IP，而后经过 VTEP-1 将数据发送出去。

2. VTEP-1 从本身维护的映射表中找到 MAC-B 对应的 VTEP-2，而后执行 VXLAN 封装，加上 VXLAN 头，UDP 头，以及外层 IP 和 MAC 头。此时的外层 IP 头，目标地址为 VTEP-2 的 IP，源地址为 VTEP-1 的 IP。同时因为下一跳是 Router-1，因此外层 MAC 头中目标地址为 Router-1 的 MAC。

3. 数据包从 VTEP-1 发送出后，外部网络的路由器会依据外层 IP 头进行路由，最后到达与 VTEP-2 链接的路由器 Router-2。

4. Router-2 将数据包发送给 VTEP-2。VTEP-2 负责解封数据包，依次去掉外层 MAC 头，外层 IP 头，UDP 头 和 VXLAN 头。VTEP-2 依据目标 MAC 地址将数据包发送给 Host-B。

上面的流程咱们看到 VTEP 是 VXLAN 的最核心组件，负责数据的封装和解封。隧道也是创建在 VTEP 之间的，VTEP 负责数据的传送。

VTEP 是如何提早获知 IP -- MAC -- VTEP 相关信息的呢？

答案是：

1. Neutron 知道每个 port 的状态和信息； port 保存了 IP，MAC 相关数据。

2. instance 启动时，其 port 状态变化过程为：down -> build -> active。

3. 每当 port 状态发生变化时，Neutron 都会经过 RPC 消息通知各节点上的 Neutron agent，使得 VTEP 可以更新 VM 和 port 的相关信息。

VTEP 能够根据这些信息判断出其余 Host 上都有哪些 VM，以及它们的 MAC 地址，这样就能直接与之通讯，从而避免了没必要要的隧道链接和广播。

Linux 对 VXLAN 的支持

VTEP 能够由专有硬件来实现，也可使用纯软件实现。目前比较成熟的 VTEP 软件实现包括：

1. 带 VXLAN 内核模块的 Linux

2. Open vSwitch

咱们先来看 Linux 如何支持 VXLAN

实现方式：

1. Linux vxlan 建立一个 UDP Socket，默认在 8472 端口监听。

2. Linux vxlan 在 UDP socket 上接收到 vxlan 包后，解包，而后根据其中的 vxlan ID 将它转给某个 vxlan interface，而后再经过它所链接的 linux bridge 转给虚机。

3. Linux vxlan 在收到虚机发来的数据包后，将其封装为多播 UDP 包，从网卡发出。

ML2 mechanism driver： Linux Bridge 和 Open vSwitch

网卡分配示例：

1.控制节点三个网卡（eth0, eth1, eth2），计算节点两网卡（eth0, eth1）。

2.合并 Management 和 API 网络，使用 eth0，IP 段为 192.168.104.0/24。

3.VM 网络使用 eht1。

4.控制节点的 eth2 与 External 网络链接，IP 段为 10.10.10.0/24。

Linux Bridge ：

Open vSwitch：

Open vSwitch 中的网络设备：

br-ex：链接外部（external）网络的网桥。

br-int：集成（integration）网桥，全部 instance 的虚拟网卡和其余虚拟网络设备都将链接到该网桥。

br-tun：隧道（tunnel）网桥，基于隧道技术的 VxLAN 和 GRE 网络将使用该网桥进行通讯。

tap interface：命名为 tapXXXX。

linux bridge：命名为 qbrXXXX。

veth pair：命名为 qvbXXXX, qvoXXXX

OVS integration bridge：命名为 br-int。

OVS patch ports：命名为 int-br-ethX 和 phy-br-ethX（X 为 interface 的序号）。

OVS provider bridge：命名为 br-ethX（X 为 interface 的序号）。

物理 interface：命名为 ethX（X 为 interface 的序号）。

OVS tunnel bridge：命名为 br-tun。

3、三层网络介绍：

虚拟机访问外网

（1）虚拟机中访问一个外网地址192.168.253.3，并用 traceroute 命令跟踪路由查看：

（2）根据网络拓扑，因为虚机访问外网要通过本网段的网关192.168.101.1，而后通过路由的外网接口转发出去，到达192.168.253.3

 

查看路由命名空间：

ip netns list

（3）查看路由命名空间的网络配置，查到路由链接外网的端口和ip：

ip netns exec qrouter-176bd7e0-6427-46a5-906a-be6a373a29a1 ip a

路由上的外网端口正好接到外网网桥br-ex上：ovs-vsctl show 查看

（4）查看路由iptables NAT 转发规则，记录对私网作的SNAT

ip netns exec qrouter-176bd7e0-6427-46a5-906a-be6a373a29a1 iptables -t nat -L ip netns exec qrouter-176bd7e0-6427-46a5-906a-be6a373a29a1 iptables -t nat -S

规则解释： -A neutron-l3-agent-snat -o qg-8df29d32-d6 -j SNAT --to-source 192.168.253.65 记录了流入接口qg-8df29d32-d6 的数据包作SNAT（基于源地址转发），将源地址修改成192.168.253.65

（5）验证：

在虚机 ping 192.168.253.3 时， 能够经过 tcpdump 分别观察 router 两个 interface 的 icmp 数据包来验证 SNAT 的行为：

在路由qrouter-176bd7e0-6427-46a5-906a-be6a373a29a1，可查到私有网络的网关接口qr-7b56f58b-b5，并在路由中抓取网关接口的icmp包：

ip netns exec qrouter-176bd7e0-6427-46a5-906a-be6a373a29a1 tcpdump -i qr-7b56f58b-b5 -n icmp

在路由中，抓取路由的外网接口qg-8df29d32-d6的icmp包：

ip netns exec qrouter-176bd7e0-6427-46a5-906a-be6a373a29a1 tcpdump -i qg-8df29d32-d6 -n icmp

外网访问虚机——floating ip原理

SNAT 让 instance 可以直接访问外网，但外网还不能直接访问 instance。由于 instance 没有外网 IP。这里 “直接访问 instance” 是指通讯链接由外网发起，例如从外网 SSH 实例。

（1）首先将实例绑定浮动 ip192.168.253.66， floating IP 是配置在 router 的外网 interface 上的，再查看 router 的 interface 配置：

 

（2）在实例中ping 192.168.253.3 外网地址，在路由的qr-7b56f58b-b5 接口上，实例访问外网ip，外网ip将数据包转发回实例ip；但在路由的qg-8df29d32-d6 接口上，始终是经过 floating IP 192.168.253.66 与外网通讯。

（3） 缘由是在路由中iptables作了DNA T（基于目的地址转发），查看 router 的 NAT 规则：

当 router 接收到从外网发来的包，若是目的地址是 floating IP 192.168.254.66，将目的地址修改成实例的 IP 192.168.101.3。这样外网的包就能送达到实例；

当实例发送数据到外网，源地址 192.168.101.3 将被修改成 floating IP 192.168.253.66.