KVM在内核中有丰富的文档，位置在Documentation/virtual/kvm/。

00-INDEX：整个目录的索引及介绍文档。

api.txt：KVM用户空间API，所谓的API主要是通过ioctl来实现的。

cpuid.txt：KVM的cpuid相关API。

devices/：各种平台相关设备API。

hypercalls.txt：KVM的hypercall介绍，介绍了X86和S390的支持的hypercall详细信息。

locking.txt：介绍了KVM用到的锁、互斥量。

mmu.txt：介绍了Guest X86 MMU功能。

msr.txt：X86架构下的MSR用途。

nested-vmx.txt：使用X86特有的VMX来更简洁高效的运行Guest OS。

ppc-pv.txt和说90-diag.txt：针对PPC和S390架构的特殊用途，忽略。

review-checklist.txt：KVM相关patch的review检查列表。

timekeeping.txt：X86架构下时间虚拟化设备。

关于KVM API定义的文档(api.txt)

1.概述

KVM API是一系列用来控制VM各方面的ioctl。它包括三个方面：

System ioctls：这些ioctl用来查询或者设置影响整个KVM子系统的属性。并且有一个system ioctl用来创建VM。

VM ioctls：这些ioctl用来查询或者设置影响整个VM的属性，其中一个VM ioctl用来创建vcpu。这些VM ioctl只能在用来创建此VM的进程中使用。

vcpu ioctls：这些ioctl用来查询或者设置能够控制单个vcpu的属性。这些vcpu ioctl只能在创建此vcpu的线程中使用。

从上面描述，可以清晰看出三者的层级关系：System ioctls(整个KVM子系统) > VM ioctls(单个VM实体) > vcpu ioctls(单个vcpu)。

2.文件描述符

KVM API是围绕文件描述符展开的。从打开/dev/kvm开始，获得操作整个KVM子系统的句柄，这个句柄用来执行System ioctls。基于此System句柄执行KVM_CREATE_VM可以创建一个VM的文件句柄，VM句柄用来执行VM ioctls。基于VM句柄的KVM_CREATE_VCPU用来创建一个vcpu句柄。vcpu句柄执行系列vcpu ioctls用来控制vcpu。

常见的文件句柄的特性在KVM并不适用，比如fork操作等。KVM里面只支持一个VM一个进程，一个vcpu一个线程。

3.API描述

每个API，即ioctl都包含一些信息，比如能力、所属架构、类型(System、VM、vcpu)、参数和返回值。这些ioctl非常多，并且庞杂，根据类型分为3类。有一些特殊架构专有的ioctl活在Architecture中列出，如果通用则是all。

下面重点分析Architecture为all或者x86，Capability为basic类型的ioctl。

System ioctls

VM ioctls

vcpu ioctls

下面一段代码很好的诠释了KVM->VM->vcpu之间的关系：

4.kvm_run结构体

KVM Hypercall(hypercalls.txt)

这里重点关注x86架构下的Hypercall。

KVM hypercall最多支持四个参数，通过rbx、rcx、rdx、rsi。Hypercall调用号通过rax传递，返回时rax存放返回值。

一般情况下，其他寄存器不参与Hypercall。

适用于X86架构的Hypercall有三个：KVM_HC_VAPIC_POLL_IRQ、KVM_HC_MMU_OP、KVM_HC_KICK_CPU。

Hypercall的定义在include/uapi/linux/kvm_para.h中：

KVM_HC_VAPIC_POLL_IRQ：Host检查关起的中断。

KVM_HC_MMU_OP：支持MMU操作，比如PTE、flushing TLB、release PT。

KVM_HC_KICK_CPU：唤醒HLT状态下的vcpu。如果Guest内核模式下一个vcpu等待时间超时而执行HLT指令，另一个同Guest下vcpu可以通过触发KVM_HC_KICK_CPU来唤醒。

这些Hypercall都在kvm_emulate_hypercall中处理：

支持Guest的MMU功能(mmu.txt)

X86 KVM的shadow MMU功能提供一个标准的MMU功能给Guest，将Guest的物理地址转换成Host物理地址。

关于Nested VMX是一种嵌套式虚拟功能，能够使一台虚拟机具有物理机CPU特性，支持VMX/SVM硬件虚拟化。参考《Nested VMX》。这样虚拟机可以使自己成为一个Hypervisors，并在其上安装虚拟机。

所谓Nested就是运行在Guest上的嵌套Guest，Guest作为Hypervisor。

此处KVM MMU功能主要工作就是配置处理器的MMU以达到将Guest地址转变到Host。有下面三种不同的转变需求：

-当Guest关闭分页功能时，将Guest物理地址转变成Host物理地址。GPA->HPA

-当Guesst使能分页功能时，将Guest虚拟地址，转变成Guest物理地址，进而Host物理地址。GVA->GPA->HPA

-当Guest又虚拟化一个嵌套Guest时，将嵌套的Guest虚拟地址转变成嵌套的物理地址，进而Guest物理地址，最后是Host物理地址。NGVA->NGPA->GPA-HPA

GPA是运行KVM进程的用户地址空间的一部分。用户空间定义了Guest地址到用户空间地址的转变(GPA->HVA)。两个不同的GPA可以映射到一个HVA，但反之不成立。