【原创】Linux虚拟化KVM-Qemu分析（七）之timer虚拟化

背景

• Read the fucking source code! --By 鲁迅
• A picture is worth a thousand words. --By 高尔基

说明：

1. KVM版本：5.9.1
2. QEMU版本：5.0.0
3. 工具：Source Insight 3.5， Visio
4. 文章同步在博客园：https://www.cnblogs.com/LoyenWang/

1. 概述

先从操做系统的角度来看一下timer的做用吧：

经过timer的中断，OS实现的功能包括但不局限于上图：

• 定时器的维护，包括用户态和内核态，当指定时间段过去后触发事件操做，好比IO操做注册的超时定时器等；
• 更新系统的运行时间、wall time等，此外还保存当前的时间和日期，以便能经过time()等接口返回给用户程序，内核中也能够利用其做为文件和网络包的时间戳；
• 调度器在调度任务分配给CPU时，也会去对task的运行时间进行统计计算，好比CFS调度，Round-Robin调度等；
• 资源使用统计，好比系统负载的记录等，此外用户使用top命令也能进行查看；

 
timer就像是系统的脉搏，重要性不言而喻。ARMv8架构处理器提供了一个Generic Timer，与GIC相似，Generic Timer在硬件上也支持了虚拟化，减小了软件模拟带来的overhead。

 
本文将围绕着ARMv8的timer虚拟化来展开。

2. ARMv8 Timer虚拟化

2.1 Generic Timer

看一下ARMv8架构下的CPU内部图：

• Generic Timer提供了一个系统计数器，用于测量真实时间的消逝；
• Generic Timer支持虚拟计数器，用于测量虚拟的时间消逝，一个虚拟计数器对应一个虚拟机；
• Timer能够在特定的时间消逝后触发事件，能够设置成count-up计数或者count-down计数；

来看一下Generic Timer的简图：

或者这个：

• System Counter位于Always-on电源域，以固定频率进行系统计数的增长，System Counter的值会广播给系统中的全部核，全部核也能有一个共同的基准了，System Counter的频率范围为1-50MHZ，系统计数值的位宽在56-64bit之间；
• 每一个核有一组timer，这些timer都是一些比较器，与System Counter广播过来的系统计数值进行比较，软件能够配置固定时间消逝后触发中断或者触发事件；
• 每一个核提供的timer包括：1）EL1 Physical timer；2）EL1 Virtual timer；此外还有在EL2和EL3下提供的timer，具体取决于ARMv8的版本；
• 有两种方式能够配置和使用一个timer：1）CVAL(comparatoer)寄存器，经过设置比较器的值，当System Count >= CVAL时知足触发条件；2）TVAL寄存器，设置TVAL寄存器值后，比较器的值CVAL = TVAL + System Counter，当System Count >= CVAL时知足触发条件，TVAL是一个有符号数，当递减到0时还会继续递减，所以能够记录timer是在多久以前触发的；
• timer的中断是私有中断PPI，其中EL1 Physical Timer的中断号为30，EL1 Virtual Timer的中断号为27；
• timer能够配置成触发事件产生，当CPU经过WFE进入低功耗状态时，除了使用SEV指令唤醒外，还能够经过Generic Timer产生的事件流来唤醒；

2.2 虚拟化支持

Generic Timer的虚拟化以下图：

• 虚拟的timer，一样也有一个count值，计算关系：Virtual Count = Physical Count - <offset>，其中offset的值放置在CNTVOFF寄存器中，CNTPCT/CNTVCT分别用于记录当前物理/虚拟的count值；
• 若是EL2没有实现，则将offset设置为0,，物理的计数器和虚拟的计数器值相等；
• Physical Timer直接与System counter进行比较，Virtual Timer在Physical Timer的基础上再减去一个偏移；
• Hypervisor负责为当前调度运行的vCPU指定对应的偏移，这种方式使得虚拟时间只会覆盖vCPU实际运行的那部分时间；

示例以下：

• 6ms的时间段里，每一个vCPU运行3ms，Hypervisor可使用偏移寄存器来将vCPU的时间调整为其实际的运行时间；

3. 流程分析

3.1 初始化

先简单看一下数据结构吧：

• 在ARMv8虚拟化中，使用struct arch_timer_cpu来描述Generic Timer，从结构体中也能很清晰的看到层次结构，建立vcpu时，须要去初始化vcpu架构相关的字段，其中就包含了timer；
• struct arch_timer_cpu包含了两个timer，分别对应物理timer和虚拟timer，此外还有一个高精度定时器，用于Guest处在非运行时的计时工做；
• struct arch_timer_context用于描述一个timer须要的内容，包括了几个字段用于存储寄存器的值，另外还描述了中断相关的信息；

初始化分为两部分：

1. 架构相关的初始化，针对全部的CPU，在kvm初始化时设置：

• kvm_timer_hyp_init函数完成相应的初始化工做；
• arch_timer_get_kvm_info从Host Timer驱动中去获取信息，主要包括了虚拟中断号和物理中断号，以及timecounter信息等；
• vtimer中断设置包括：判断中断的触发方式（只支持电平触发），注册中断处理函数kvm_arch_timer_handler，设置中断到vcpu的affinity等；
• ptimer中断设置与vtimer中断设置同样，同时它的中断处理函数也是kvm_arch_timer_handler，该处理函数也比较简单，最终会调用kvm_vgic_inject_irq函数来完成虚拟中断注入给vcpu；
• cpuhp_setup_state用来设置CPU热插拔时timer的响应处理，而在kvm_timer_starting_cpu/kvm_timer_dying_cpu两个函数中实现的操做就是中断的打开和关闭，仅此而已；

2. vcpu相关的初始化，在建立vcpu时进行初始化设置：

• 针对vcpu的timer相关初始化比较简单，回到上边那张数据结构图看一眼就明白了，全部的初始化工做都围绕着struct arch_timer_cpu结构体；
• vcpu_timer：用于获取vcpu包含的struct arch_timer_cpu结构；
• vcpu_vtimer/vcpu_ptimer：用于获取struct arch_timer_cpu结构体中的struct arch_timer_context，分别对应vtimer和ptimer；
• update_vtimer_cntvoff：用于更新vtimer中的cntvoff值，读取物理timer的count值，更新VM中全部vcpu的cntvoff值；
• hrtimer_init：用于初始化高精度定时器，包含有三个，struct arch_timer_cpu结构中有一个bg_timer，vtimer和ptimer所对应的struct arch_timer_context中分别对应一个；
• kvm_bg_timer_expire：bg_timer的到期执行函数，当须要调用kvm_vcpu_block让vcpu睡眠时，须要先启动bg_timer，bg_timer到期时再将vcpu唤醒；
• kvm_hrtimer_expire：vtimer和ptimer的到期执行函数，最终经过调用kvm_timer_update_irq来向vcpu注入中断；

3.2 用户层访问

能够从用户态对vtimer进行读写操做，好比Qemu中，流程以下：

• 用户态建立完vcpu后，能够经过vcpu的文件描述符来进行寄存器的读写操做；
• 以ARM为例，ioctl经过KVM_SET_ONE_REG/KVM_GET_ONE_REG将最终触发寄存器的读写；
• 若是操做的是timer的相关寄存器，则经过kvm_arm_timer_set_reg和kvm_arm_timer_get_reg来完成；
• 读写的寄存器包括虚拟timer的CTL/CVAL，以及物理timer的CTL/CVAL等；

3.3 Guest访问

Guest对Timer的访问，涉及到系统寄存器的读写，将触发异常并Trap到Hyp进行处理，流程以下：

• Guest OS访问系统寄存器时，Trap到Hypervisor进行处理；
• Hypervisor对异常退出进行处理，若是发现是访问系统寄存器形成的异常，则调用kvm_handle_sys_reg来处理；
• kvm_handle_sys_reg：调用emulate_sys_reg来对系统寄存器进行模拟，在该函数中首先会查找访问的是哪个寄存器，而后再去调用相应的回调函数；
• kvm中维护了struct sys_reg_desc sys_reg_descs[]系统寄存器的描述表，其中struct sys_reg_desc结构体中包含了对该寄存器操做的函数指针，用于指向最终的操做函数，好比针对Timer的kvm_arm_timer_write_sysreg/kvm_arm_timer_read_sysreg读写操做函数；
• Timer的读写操做函数，主要在kvm_arm_timer_read/kvm_arm_timer_write中完成，实现的功能就是根据物理的count值和offset来计算等；

 
timer的虚拟化仍是比较简单，就此打住了。

PS：

按计划，接下里该写IO虚拟化了，而后紧接着Qemu的源码相关分析。不过，在写IO虚拟化以前，我会先去讲一下PCIe的驱动框架，甚至可能还会去研究一下网络，who knows，反正这些也都是IO相关。
Any way，I will be back soon!

参考

《AArch64 Programmer's Guides Generic Timer》
《Arm Architecture Reference Manual》

欢迎关注我的公众号，不按期更新内核相关技术文章