- 中断虚拟化
1.中断概述
-
软件部分
软件部分在操做系统中实现，如Linux中断的x86，每个中断对应一个中断门，中断门中包含中断处理函数（ISR或者别的）地址，优先级等等。CPU能够经过LIDT加载这个描述符表，跳转到指定的中断门。
-
硬件部分
中断硬件部分就是产生中断脉冲，传给中断控制器，而后通知CPU，CPU在执行下调指令前会去查询中断状况，若是有中断信号，就执行中断。
所以中断的模拟分为两个主要部分：一个是中断源的模拟，一个是给虚拟机的VCPU响应中断。
-
中断源模拟
-
虚拟机响应虚拟中断
KVM中断虚拟化主要依赖于VT-x技术，VT-x主要提供了两种中断事件机制，分别是中断退出和中断注入。
2.x86 中断机制
中断从设备发送到CPU需要经过中断控制器，现代x86架构采用的中断控制器被称为APIC(Advanced Programmable Interrupt Controller)。APIC是伴随多核处理器产生的，所有的核共用一个I/O APIC，用于统一接收来自外部I/O设备的中断，而后根据软件的设定，格式化出一条包含该中断所有信息的Interrupt Message，发送给对应的CPU。
每个核有一个Local APIC，用于接收来自I/O APIC的Interrupt Message，内部的时钟和温控中断，以及来自其他核的中断，也就是IPI(Inter-Processor Interrupt)。
物理CPU中断：
虚拟CPU中断：
在虚拟化环境中，VMM需要为guest VM展现一个与物理中断架构类似的虚拟中断架构。每个虚拟CPU都对应一个虚拟的Local APIC，多个虚拟CPU共享一个虚拟的I/O APIC。
和虚拟CPU一样，虚拟的Local APIC和虚拟的I/O APIC都是VMM维护的软件实体（以下统称虚拟中断控制器）。中断虚拟化的主要任务就是实现下图描述的虚拟中断架构，包括虚拟中断控制器的创建，中断采集和中断注入。
-
中断采集
将guest VM的设备中断请求送入对应的虚拟中断控制器中。Guest VM的中断有两种可能的来源： -
来自于软件模拟的虚拟设备，比如一个模拟出来的串口，可以产生一个虚拟中断。从VMM的角度来看，虚拟设备只是一个软件模块，可以通过调用虚拟中断控制器提供的接口函数，实现虚拟设备的中断发送。
-
来自于直接分配给guest VM的物理设备的中断，比如一个物理网卡，可以产生一个真正的物理中断。一个物理设备被直接分配给一个guest VM，意味着当该设备发生中断时，中断的处理函数（ISR）应该位于guest OS中。
1.创建客户机的时候，给客户机分配中断号，然后通知VMM相关绑定信息。
2.当CPU收到中断，执行标准的中断处理，最后跳转到IDT表对应的处理函数，该处理函数是VMM提供的。
3.VMM的中断处理函数对中断进行检查，发现该中断是分配给客户机的设备产生的，因此就调用虚拟中断控制器的接口，将中断发送到虚拟Local APIC，之后虚拟Local APIC在适当时机将该中断注入客户机，由客户机os的处理函数处理。
4.将中断注入后，VMM进行后续处理，比如开中断等。
可是在虚拟化环境中，物理中断控制器是由VMM控制的，因而VMM在收到中断后，会首先判断该中断是不是由分配给guest VM的设备产生的，如果是的话，就将中断发送给对应的虚拟中断控制器。而后，虚拟中断控制器会在适当的时机将该中断注入guest VM，由guest OS中的ISR进行处理。那中断注入的过程是怎样的，这个“适当的时机”又该如何选择呢？
-
中断注入
- 如果VCPU在运行，需要发IPI使之VM-Exit, 然后再VM-Entry注入。
- 如果VCPU当前无法中断，通过中断窗口(VMCS的一个特定字段告诉CPU当前VCPU有一个中断需要注入)，一旦VCPU可以接收中断，物理CPU会主动触发VM-Exit,然后就可以注入等待的中断了。
虚拟中断控制器采集到的中断请求，将按照VMM排定的优先级，被逐一注入到对应的虚拟CPU中。在Linux的信号发送与接收机制中，只有从内核空间返回到用户空间，也就是某个进程被调度到重新获得CPU的使用权时，该进程才可以处理之前发送给它的那些信号，或者说此时内核才可以将这些未处理的信号注入到进程中。
同样地，只有在VM entry，也就是某个虚拟CPU被调度到重新获得物理CPU的使用权时，VMM才可以将中断注入到该虚拟CPU中。
为了保证中断的及时注入，就需要通过一定的手段，强制虚拟CPU发生VM exit，然后在VM entry返回guest VM的时候注入中断。强制产生VM exit最常用的办法就是往虚拟CPU对应的物理CPU发送一个IPI核间中断。这个IPI就像一把手枪，把guest VM打下来，落回到VMM中。
是不是VMM注入的中断，虚拟CPU就必须照单全收呢？Linux中的进程可以通过设置SIG_IGN来忽略某个信号（SIGKILL和SIGSTOP除外），同样地，虚拟CPU也可以通过配置虚拟IMR(Interrupt Mask Register)来选择是否屏蔽某个中断。
3.中断源模拟
一个操作系统要跑起来，必须有Time Tick，它就像是身体的脉搏。普通情况下，OS Time Tick由PIT(i8254)或APIC Timer设备提供—PIT定期(1ms in Linux)产生一个timer interrupt，作为global tick, APIC Timer产生一个local tick。在虚拟化情况下，必须为guest OS模拟一个PIT和APIC Timer。
模拟的PIT和APIC Timer不能像真正硬件那样物理计时，所以一般用HOST的某种系统服务或软件计时器来为这个模拟PIT提供模拟”时钟源”。
目前两种方案：
- 用户态模拟方案（QEMU）；
- 内核态模拟方案（KVM）；
在QEMU中，用SIGALARM信号来实现：QEMU利用某种机制，使timer interrupt handler会向QEMU process发送一个SIGALARM信号，处理该信号过程中再模拟PIT中产生一次时钟。QEMU再通过某种机制，将此模拟PIT发出的模拟中断交付给kvm，再由kvm注入到虚拟机中去。
目前的kvm版本支持内核PIT、APIC和内核PIC，因为这两个设备是频繁使用的，在内核模式中模拟比在用户模式模拟性能更高。这里重点是讲内核PIT的模拟实现，弄清楚它是如何为guest OS提供时钟的。
3.1.物理芯片介绍
-
PIT 主要为Intel 8254 PIT芯片；
PIT (Programmable Interval Timer) 可编程间隔定时器，每个PC机中都有一个PIT，通过IRQ产生周期性的时钟中断信号来充当系统定时器。i386中使用的通常是Intel 8254 PIT芯片，它的I/O端口地址范围是40h～43h。 -
PIC主要为8259A PIC芯片；
PIC(Programmable Interrupt Controller) 可编程中断控制器，它具有IR0~IR7共8个中断管脚连接外部设备。中断管脚具有优先级，其中IR0优先级最高，IR7最低。PIC有三个重要的寄存器：
-
IRR Interrupt Request Register, 中断请求寄存器 共8位，对应IR0~IR7这8个中断管脚。某位置1代表收到对应管脚的中断但还未提交给CPU。
-
ISR In Service Register 服务中寄存器：共8位，某位置1代表对应管脚的中断已经提交给CPU处理，但CPU还未处理完。
-
IMR Interrupt Mask Register 中断屏蔽寄存器：共8位，某位置1对应的中断管脚被屏蔽。
-
3.2.代码分析
用户空间qemu通过KVM_CREATE_DEVICE API接口进入KVM的kvm_vm_ioctl处理函数，继而进入kvm_arch_vm_ioctl，根据参数中的KVM_CREATE_IRQCHIP标志进入初始化中断控制器的流程，首先肯定是注册pic和io APIC，中断路由表的初始化通过kvm_setup_default_irq_routing函数实现。
arch/x86/kvm/x86.c:
kvm_vm_ioctl->kvm_arch_vm_ioctl:
4674 case KVM_CREATE_IRQCHIP: {
4685 r = kvm_pic_init(kvm);
4689 r = kvm_ioapic_init(kvm);
4695 r = kvm_setup_default_irq_routing(kvm);
-
第一步：虚拟PIC的创建
r = kvm_pic_init(kvm); -
第二步：
r = kvm_ioapic_init(kvm); -
第三步：中断路由表的初始化
r = kvm_setup_default_irq_routing(kvm);
377 int kvm_setup_default_irq_routing(struct kvm *kvm)
378 {
379 return kvm_set_irq_routing(kvm, default_routing,
380 ARRAY_SIZE(default_routing), 0);
381 }
KVM将所有类型的IRQ CHIP抽象出一个接口，类似于C++的interface抽象基类，定义了中断的触发方法set()以及每个引脚和GSI的映射关系，这些都是和芯片类型无关的，具体的芯片都是继承和实现接口，虚拟设备的中断发送给IRQ CHIP接口开始中断的模拟；分别实现了PIC、IOAPIC以及MSI的set方法进行，通过set方法完成对于VCPU的中断注入。其中IOAPIC中对于每个引脚，又定义了PRT，IOAPIC收到中断后根据RTE格式化出中断消息并发送给目标LAPIC，LAPIC完成中断的选举和注入实现。
中断注入函数流程：
- kvm_set_pic_irq
它主要是设置kvm里面的虚拟中断控制器结构体struct kvm_pic完成虚拟终端控制器的设置。若是是边缘触发，须要触发电平先0再1或者先1再0，完成一个正常的中断模拟。
50 struct kvm_pic {
51 spinlock_t lock;
52 bool wakeup_needed;
53 unsigned pending_acks;
54 struct kvm *kvm;
55 struct kvm_kpic_state pics[2]; /* 0 is master pic, 1 is slave pic */
56 int output; /* intr from master PIC */
57 struct kvm_io_device dev_master;
58 struct kvm_io_device dev_slave;
59 struct kvm_io_device dev_eclr;
60 void (*ack_notifier)(void *opaque, int irq);
61 unsigned long irq_states[PIC_NUM_PINS];
62 };
- kvm_set_ioapic_irq
kvm_set_ioapic_irq -> kvm_ioapic_set_irq -> ioapic_service -> ioapic_deliver -> kvm_irq_delivery_to_apic -> __apic_accept_irq -> apic_set_vector
3.3.具体注入过程：
中断注入实际是向客户机CPU注入一个事件，这个事件包括异常和外部中断和NMI。异常我们一般看作为同步，中断被认为异步。硬件具体实现就中断注入实际就是设置VMCS中字段VM-Entry interruption-infomation字段。中断注入实际在VM运行前完成的，具体代码如下：
static int vcpu_enter_guest(struct kvm_vcpu *vcpu) {
/*注入中断在vcpu加载到真实cpu上后，相当于某些位已经被设置*/
inject_pending_event(vcpu); //中断注入
}
vcpu_enter_guest->inject_pending_event->中检查是否有中断到来（其检测的为vcpu->arch.interrupt.pending）
virt/kvm/kvm_main.c:
2573 static struct file_operations kvm_vcpu_fops = {
2574 .release = kvm_vcpu_release,
2575 .unlocked_ioctl = kvm_vcpu_ioctl,
2576 .mmap = kvm_vcpu_mmap,
2577 .llseek = noop_llseek,
2578 KVM_COMPAT(kvm_vcpu_compat_ioctl),
2579 };
2706 static long kvm_vcpu_ioctl(struct file *filp,
2707 unsigned int ioctl, unsigned long arg)
2731 switch (ioctl) {
2732 case KVM_RUN:
r = kvm_arch_vcpu_ioctl_run(vcpu, vcpu->run);
refer to
- https://www.izhangchao.com/internet/internet_234676.html
- https://blog.csdn.net/leoufung/article/details/53081207
- https://zhuanlan.zhihu.com/p/75649437
- https://www.shangmayuan.com/a/463a899b37e843f19643e94e.html
- http://www.cnhalo.net/2016/06/15/cpu-virtualization/