前提
-我在 ubuntu armhf cloud 发行版 仿真 中搭建了一个 “基于ARMv7” 且 “abi为armhf” 且 “os 为 ubuntu” 的 “虚拟化调试平台”,主要是为了研究
1. ARMv7 对虚拟化的支持
2. linux armv7 kvm 的实现
3. qemu 与 kvm 的交互
调试平台是这个样子的
L0 : win10 x86_64
L1 : L0 上用 vmware work station 搭建的一个 ubuntu20.04-x86_64
L2 : L1 上用 qemu-6.1.0 搭建的一个 armhf-ubuntu 16.04,并手动编译升级内核到 linux-5.6
L3 : L2 上用 qemu-2.5.0 搭建的一个 armhf-linux-initramfs,并手动编译升级内核到 linux-5.6
- 研究手段及目标顺序
怎么实现这些研究目的
1. 在 L1 上 安装 arm-none-eabi-gdb
2. 开启L2 的时候 添加 -S -s 选项 , 并 用 arm-none-eabi-gdb 不加断点让其全速运行
3. L2 启动到 shell , 此时 用 arm-none-eabi-gdb 添加 kvm 相关的断点
4. 启动 L3(需要添加 --enable-kvm) , 启动后 自动停在 断点
研究目的的顺序
1. qemu 与 kvm 的交互
通过书籍获取大概交互资料(主要是三个fd),并验证(这三个fd)的实现原理
通过每个 fd 访问了多少次,都访问了什么
2. linux armv7 kvm 的实现
fd 中的 ioctl 怎么处理的
如何 VM enter 和 VM exit
3. ARMv7 对虚拟化的支持
PL2 异常向量表的设置
相关寄存器的读写
qemu 与 kvm 的交互
初始化
fd_kvm = open(/dev/kvm) kvm_chardev_ops kvm_dev_ioctl
fd_vm = ioctl(fd_kvm,KVM_CREATE_VM,0) kvm_vm_fops kvm_vm_ioctl
fd_vcpu = ioctl(fd_vm,KVM_CREATE_VCPU,0) kvm_vcpu_fops kvm_vcpu_ioctl
运行
ioctl(fd_vcpu,KVM_RUN,NULL)
主要是 要考虑 通过三个 fd (fd_kvm fd_vm fd_vcpu) 操控 kvm 做事
按照书籍资料,kvm负责
KVM本身基于硬件辅助虚拟化，仅仅实现CPU和内存的虚拟化，但一台计算机不仅仅有CPU和内存，还需要各种各样的I/O设备，不过KVM不负责这些。KVM负责底层执行引擎和内存的虚拟
经过改造后的QEMU，负责外部设备的虚拟
两者彼此互补，成为新一代云计算虚拟化方案的宠儿。
little-qemu & test.S
不能用(太庞大) qemu 来探究 qemu 与 kvm 的交互,而是我们要是实现一个小的qemu(little-qemu),并实现一个小的虚拟机程序(test.S)来探究
- little-qemu
TODO
https://www.cnblogs.com/Bozh/p/5753379.html
https://www.cnblogs.com/pengdonglin137/p/14083316.html
http://soulxu.github.io/blog/2014/08/11/use-kvm-api-write-emulator/
- test.S
TODO
- 如何调试
涉及到
little-qemu(运行在L2) , 在 L2(ARMv7-ubuntu-16.04) 上运行 arm-gdb
test.S(运行在L3)
linux-5.6-kvm(运行在L1) , 在 L1(x86_64-ubuntu-20.04) 上运行 arm-gdb
little-qemu 需要完成的步骤
1.创建虚拟机
2.设置虚拟机内存，并加载镜像到虚拟机内存
3.创建VCPU
4.设置sregs和regs
5.将虚拟机（guest）运行时结构映射到host user space
6.循环（1.开始运行 2.退出时检查虚拟机运行时结构）
顺序要求
2必须在1后面
3必须在1后面
4 5必须在3后面
4 5之间没有顺序要求
QEMU与KVM交互的分析
以 "QEMU/KVM 源码解析与应用" 中讲述的实例为例
QEMU与KVM的交互 只有 ioctl , 涉及到了三个 fd , 主要有以下动作
1. fd_vm = ioctl(fd_kvm,KVM_CREATE_VM,0) // 创建虚拟机
2. ioctl(fd_vm,KVM_SET_USER_MEMORY_REGION,(struct kvm_userspace_memory_region)(&mem)) // 设置虚拟机的 内存
3. fd_vcpu = ioctl(fd_vm,KVM_CREATE_VCPU,0) // 创建虚拟机的 VCPU
4. struct kvm_run * run = mmap(NULL,size,PROT_READ|PROT_WRITE,MAP_SHARED,fd_vcpu,0) // 获取虚拟机的 内存中的 运行时结构 // (这个运行时结构属于虚拟机的内存吗?TODO)
5. ioctl(fd_vcpu,KCM_SET_SREGS,(struct kvm_sregs *)(&sregs)) // 设置虚拟机的 VCPU 的 代码段寄存器 // 这里对应x86,如果是arm,则是另一个 cmd
6. ioctl(fd_vcpu,KVM_SET_REGS,(struct kvm_regs *)(®s)) // 设置虚拟机的 VCPU 的 通用寄存器 // 这里对应x86,如果是arm,则是另一个 cmd
7. ioctl(fd_vcpu,KVM_RUN,NULL) // 启动虚拟机的 VCPU
可以看到,一个很简单的 x86 程序 的仿真(仿真了cpu和内存)要用到
1. 对 fd_kvm 进行 虚拟机 (一块内存&一个CPU)的创建
2. 对 fd_vcpu 进行 虚拟机 CPU (寄存器的设置和启动)
3. 对 fd_vcpu 进行 虚拟机 的运行时结构体访问
如果 我要仿真一个完整的 soc , 则要用到 kvm 侧的
1. cpu 内存 中断 设备 的 相关 ioctl
// cpu 相关的 KVM_CREATE_VCPU,KCM_SET_SREGS,KVM_SET_REGS,KVM_RUN
// 内存 相关的 KVM_SET_USER_MEMORY_REGION
// 设备 相关的 // 设备 不是通过 ioctl 做的, 而是 vm exit 后分析原因, 然后 设备模拟
// 中断 相关的 KVM_SIGNAL_MSI
如果 我要仿真一个完整的 soc , 还要用到 qemu侧的
1. cpu 内存 中断 设备 的 相关管理// 以内存为例来说,总不能一块内存创建一个全局变量来管理,而是形成一个数据结构,让数据结构来管理内存
// cpu 相关的 TODO
// 内存相关的 结构体: RAMBlock MemoryRegion AddressSpace
// 设备相关的 virtio 等等等
// 中断相关的 ioctl函数 : kvm_set_irq -> kvm_vm_ioctl(XXX)