网络IO的虚拟化模型小结

网络IO的虚拟化模型随着技术发展，出现了多种方式，例如emulation、para-virtualization、pass-through和SR-IOV等，本文试图对其作一个简单的总结。

• Emulation（仿真）：

  全虚拟化是最先出现的IO虚拟化方式，效率也最低。以接收网络报文为例，其处理步骤能够简单描述以下：

  • 数据包到达主机物理网卡，向host CPU发出中断。QEMU建立的网桥（br0）它会分析报文目的地。若是目的地是host，调用host的中断处理函数；若是目的地是虚拟机的话将报文转发至TAP设备。以前初始化时qemu进程已经打开了TAP的字符设备。
  • TAP设备由两部分组成，一侧是网络驱动，另外一侧是字符设备驱动，前者负责接受来自物理网卡的数据报，后者则将报文转发至qemu进程。过程为：TAP 将字符设备的文件描述符置位，qemu进程经过select调用接收。
  • qemu调用tap_send函数，将网络数据报经过e1000_receive函数写入网卡的缓存区，依次会调用pci_dma_write，最后是qemu_get_ram_ptr，作一次内存拷贝。在虚拟机中，网卡缓存能够经过DMA方式访问，但虚拟机的物理内存映射到qemu的虚拟内存区，所以虚拟机的OS读取的实际是qemu进程的缓存。最后调用set_ics向虚拟机注入中断。
  • 虚拟机读取中断后引起VM-Exit，中止VM进程执行，进入root操做状态。KVM要根据KVM_EXIT_REASON判断缘由。对于IO请求，其标志为KVM_EXIT_IO。由于kvm没法处理此操做，须要从新回到qemu的用户态，调用kvm_handle_io进行处理。

       

       

       

• Para-virtualization（半虚拟化）

  能够认为是一种改进后的仿真模型，由各厂商提供虚拟网卡驱动，并加入Guest OS。vhost driver建立了一个字符设备 /dev/vhost-net，这个设备能够被用户空间打开，并能够被ioctl命令操做。当给一个Qemu进程传递了参数-netdev tap,vhost=on 的时候，QEMU会经过调用几个ioctl命令对这个文件描述符进行一些初始化的工做，而后进行特性的协商，从而宿主机跟客户机的vhost-net driver创建关系。与此同时，kernel中要建立一个kernel thread 用于处理I/O事件和设备的模拟。 kernel代码 drivers/vhost/vhost.c：在vhost_dev_set_owner中，调用了这个函数用于建立worker线程（线程名字为vhost-qemu+进程pid）。这个内核线程被称为"vhost worker thread"，该worker thread的任务即为处理virtio的I/O事件。而在Guest中，会打开virtio设备，将virtio的vring映射到host kernel。vhost与kvm的事件通讯经过eventfd机制来实现，主要包括两个方向的event，一个是Guest到Vhost方向的kick event，经过ioeventfd承载；另外一个是Vhost到Guest方向的call event，经过irqfd承载。

  guest_notifier的使用：

  • vhost在处理完请求（收到数据包)，将buffer放到used ring上面以后，往call fd里面写入；
  • 若是成功设置了irqfd，则kvm会直接中断guest。若是没有成功设置，则走如下的路径：

    Qemu经过select调用监听到该事件(由于vhost的callfd就是qemu里面对应vq的guest_notifier，它已经被加入到selectablefd列表)；

  • 调用virtio_pci_guest_notifier_read通知guest；
  • guest从used ring上获取相关的数据。

  host_notifier的使用：

  • Guest中的virtio设备将数据放入avail ring上面后，写发送命令至virtio pci配置空间；
  • Qemu截获寄存器的访问，调用注册的kvm_memory_listener中的eventfd_add回调函数kvm_eventfd_add()；
  • 经过kvm_vm_ioctl(kvm_state, KVM_IOEVENTFD, &kick)进入kvm中；
  • kvm唤醒挂载在ioeventfd上vhost worker thread；
  • vhost worker thread从avail ring上获取相关数据。

     

     

• Pass-through

  VMM直接将一个PCI设备分配给VM，经过iommu保证VM间内存访问不冲突。这种方式性能最快，可是一个设备只能给一个VM使用，灵活性差，并且不支持迁移。

     

     

• SR-IOV

  SR-IOV主要用来解决pass-through只能被一台虚拟子机访问的问题。SR-IOV标准由PCI-SIG，这个标准实现须要CPU、芯片组和PCI设备(主要是网卡等I/O资源)协同在硬件层面实现。支持SR-IOV功能的网卡能够在Hypervior里面注册成多个网卡(每一个网卡都独立的中断ID、收发队列、QOS管理机制)。每一个设备能够经过pass-through方式分配给虚拟子机。Intel公司的82599 10G网卡以PF/VF的形式提供了对SR-IOV的支持。