这里我们主要讨论的是平台虚拟化。首先提出第一个问题：当我们讨论平台虚拟化技术，实际在讨论什么？我认为讨论的是 Hypervisor 或称为 VMM（Virtual Machine Monitor），本篇我们主要回顾 VMM 的发展历程，并思考之中的原因。 虚拟化技术发展编年史 开篇1959 年 6 月，牛津大学的计算机教授，克里斯·托弗（Christopher Strachey）在国际信息处理大会（International Conference on Information Processing）上发表了一篇名为《大型高速计算机中的时间共享》（Time Sharing in Large Fast Computer）的学术报告，他在文中首次提出了 “虚拟化” 的基本概念，还论述了什么是虚拟化技术。这篇文章被认为是最早的虚拟化技术论述，从此拉开了虚拟化发展的帷幕。克里斯·托弗还同时提出了 Multi-Processing（多道程序）这一超前的概念。Multi-Processing 解决了应用程序因等待外部设备而导致处理器空转问题，同时也解决了用户如何调试（Debug）代码的问题。即便在现在看来，多道程序的理念仍是操作系统在 “并发” 领域中的隗宝。
When I wrote the paper in 1959 I, in common with everyone else, had no idea of the difficulties which would arise in writing the software to control either the time-sharing or multi-programming. If I had I should not have been so enthusiastic about them.– Christopher Strachey
Christopher Strachey大型机和小型机的虚拟化1960 年，为了应对物理学领域的计算需求，美国启动 Atlas 超级计算机（Super Computer）项目。同期的英国全国只有 16 台计算机，日不落帝国的诅咒在计算机领域也无法幸免。1961 年，由麻省理工学院的 Fernando Corbato 教授带领团队开始研发 CTSS（Compatible Time Sharing System，兼容性分时系统）项目，并由 IBM 提供硬件设备和工程师进行支持。分时系统可以说是硬件虚拟化的根本，CTSS 为后来 IBM 的 TSS 打下了基础。1962 年，第一台 Atlas 超级计算机 Atlas 1 诞生，Atlas 1 是第一台实现了虚拟内存（Virtual Memory）概念的计算机，并将其称为一级存储（one-level store）。Atlas 1 还是第一个实现了名为 Supervisor 的底层资源管理组件的计算机，Supervisor 可以通过特殊的指令或代码来管理物理主机的硬件资源。例如：中央处理器的时间分配。没错，操作系统最早的称谓其实是 Supervisor，往后还被叫过一段时间的 Master Control Program（主控程序），但最终 Operating System 胜出了。此时你或许能够理解为什么虚拟机管理程序会被统称为 Hypervisor（Super、Hyper 是同意词，意为超级，但词义上 Hyper 比 Super 还要高级一些）。1963 年使用打孔机的第一代 Atlas 超级计算机
1960 中期，IBM 在 Thomas J. Watson Research Center (NY) 进行 M44/44X 计算机研究项目。M44/44X 项目基于 IBM 7044（M44）实现了多个具有突破性的虚拟化概念，包括部分硬件共享（partial hardware sharing）、时间共享（time sharing）、内存分页（memory paging）以及实现了虚拟内存管理的 VMM。通过这些虚拟化技术，应用程序可以运行在这些虚拟的内存之中，实现了在同一台主机上模拟出多个 7044 系统（44X）。M44/44X 项目首次使用了 VM（Virtual Machine） 和 VMM（Virtual Machine Monitor）一词，被认为是世界上第一个支持虚拟机的系统。1964 年：IBM 推出了著名的 System/360。你或许有所耳闻，System/360 的开发过程被视为了计算机发展史上最大的一次豪赌，为了研发 System/360，IBM 决定征召六万多名新员工，创建了五座新工厂。即便如此，当时的出货时间仍被不断顺延。吉恩·阿姆达尔是系统主架构师，当时的项目经理佛瑞德·布鲁克斯（Frederick P. Brooks, Jr.）事后根据这项计划的开发经验，写出了同样著名的《人月神话：软件项目管理之道》（The Mythical Man-Month: Essays on Software Engineering）记述人类工程史上一项里程碑式的大型复杂软件系统开发经验。最终，IBM System/360 取得了巨大的商业成功。System/360 不仅提供了新型的操作系统（让单一操作系统适用于整个系列的产品，这是 System/360 系列大型机成功的关键），还实现了基于全硬件虚拟化（Full Hardware Virtualization）的虚拟机解决方案，包括：页式虚拟内存（4k 分页虚拟存储系统），虚拟磁盘以及 TSS 分时系统。System/360 最多可提供 14 个虚拟机，每个虚拟机具有 256k 固定虚拟内存。这里有必要着重介绍一下 TSS （Time Sharing System，分时共享系统），它能够让一台主机上连接多个带有显示器和键盘的终端，同时允许多个用户通过主机的终端，以交互方式使用计算机，共享主机中的资源。分时操作系统本质是一个多用户交互式操作系统。其中，“分时” 的含义是将 CPU 占用切分为多个极短（e.g. 1/100sec）的时间片，每个时间片都执行着不同的任务。通过对这些时间片的轮询，就可以将一个 CPU “伪装”（虚拟化）成多个 vCPU，并且让每颗 vCPU 看起来都是并行运行的。最终达到多个用户分享使用同一台计算机，多个程序分时共享硬件和软件资源的效果。TSS 被认为是最原始的虚拟化技术。可见，最初虚拟化技术的应用和发展源于大型机对分时系统的需求。这种通过硬件的方式来生成多个可以运行独立操作系统软件的虚拟机实例，解决了早期大型计算机只能单任务处理而不能分时多任务处理的问题。由于这种虚拟化技术是基于硬件设备来实现的，故被称为硬件虚拟化（Hardware virtualization）。但需要注意的是，这一说法在后来被进一步细分为了狭义的硬件虚拟化技术，现今更加为人多熟知的硬件虚拟化是指：一种对计算机或操作系统的虚拟化，能够对用户隐藏真实的计算机硬件，表现出另一个抽象的计算平台。System/360The Mythical Man-Month: Essays on Software Engineering伟大源自于伟大！1974 年，Gerald J. Popek（杰拉尔德·J·波佩克）和 Robert P. Goldberg（罗伯特·P·戈德堡）在合作论文《可虚拟第三代架构的规范化条件》（Formal Requirements for Virtualizable Third Generation Architectures）中提出了一组称为虚拟化准则的充分条件，又称波佩克与戈德堡虚拟化需求（Popek and Goldberg virtualization requirements）即：虚拟化系统结构的三个基本条件。满足这些条件的控制程序才可以被称为虚拟机监控器（Virtual Machine Monitor，简称 VMM）：
该论文尽管基于简化的假设，但上述条件仍为评判一个计算机体系结构是否能够有效支持虚拟化提供了一个便利方法，也为设计可虚拟化计算机架构给出了指导原则。同时，Gerald J. Popek 和 Robert P. Goldberg 还在论文中介绍了两种 Hypervisor 类型，分别是类型 I 和 类型 II。类型 II（寄居或托管 Hypervisor）：VMM 运行在传统的操作系统上，就像其他计算机程序那样运行。特点：
也很显然，所有的应用程序都应该运行在用户态中。当应用程序需要访问外围硬件设备时，CPU 会通过特别的接口去调用核心态的代码，以这种旁路的方式来应用程序对硬件设备的调用。如果用户态的应用程序直接调用硬件设备的话，就会被操作系统捕捉到并触发异常，弹出警告窗口。可见，x86 架构与大型机不同，当时的 x86 体系结构缺乏必要的针对虚拟化的硬件支持，难以直接满足波佩克与戈德堡的虚拟化需求，所以 x86 架构天然不是一个可虚拟化的架构。x86 架构的 CPU 中有 17 条指令成为了虚拟化最大的障碍，错误执行这些指令会导致操作系统显示警告、终止应用程序甚至完全崩溃。当时 VMware 提出了解决这个问题的思路：在虚拟机生成这些特殊的指令时将它们 “困住”，然后将它们转换成可虚拟化的安全指令，同时保证其他所有的指令不受到干扰地执行。这样就产生了一种与主机硬件匹配并保持软件完全兼容性的高性能虚拟机。这就是 全虚拟化（Full virtualization） 技术诞生的背景 —— 必须使用纯软件实现的方式构造 VMM。VMware 首创了这项技术，一举稳坐虚拟化龙头老大。全虚拟化是指虚拟机模拟了完整的底层硬件，包括处理器、物理内存、时钟、外设等，使得为原始硬件设计的操作系统或其它系统软件完全不做任何修改就可以在虚拟机中运行。客户机操作系统（Guest OS）与真实硬件之间的交互可以看成是通过一个预先规定的硬件接口进行的。全虚拟化 VMM 以完整模拟硬件的方式提供全部接口（同时还必须模拟特权指令的执行过程）。全虚拟化的工作原理：虚拟机是对真实计算环境的抽象和模拟，VMM 需要为每个虚拟机分配一套数据结构来管理它们状态，包括 vCPU 的全套寄存器，物理内存的使用情况，虚拟设备的状态等等。VMM 调度虚拟机时，会将其部分状态恢复到 Host OS 中。但并非所有的状态都需要恢复，例如主机 CR3 寄存器中存放的是 VMM 设置的页表物理地址，而不是 Guest OS 设置的值。pCPU 直接运行 Guest OS 的机器指令时，由于 Guest OS 运行在低特权级别（Ring 1），如果 Guest OS 直接访问 Host OS 的特权状态（如写 GDT 寄存器），就会因为权限不足导致 pCPU 产生异常，然后将运行权主动交还给 VMM。此外，外部中断的到来也会影响 VMM 的运行。VMM 可能需要先将该虚拟机的当前状态写回到状态数据结构中，分析虚拟机被挂起的原因，然后代表 Guest OS 执行相应的特权操作。最简单的情况，如 Guest OS 对 CR3 寄存器的修改，只需要更新虚拟机的状态数据结构即可。一般而言，大部分情况下，VMM 需要经过复杂的流程才能完成原本简单的操作。最后 VMM 将运行权还给 Guest OS，Guest OS 从上次被中断的地方继续执行，或处理 VMM “塞”入的虚拟中断和异常。这种经典的虚拟机运行方式被称为 Trap-And-Emulate（捕获-模拟），虚拟机对于 Guest OS 完全透明，Guest OS 不需要任何修改，但是 VMM 的设计会比较复杂，系统整体性能受到明显的损害。举例来说：x86 平台中，操作系统执行切换进程页表的操作，真实硬件会通过提供一个特权 CR3 寄存器来实现该接口，操作系统只需执行 mov pgtable, %%cr3 汇编指令即可。而全虚拟化 VMM 就必须要完整地模拟该接口执行的全过程。如果硬件（主要是 CPU）不提供虚拟化的特殊支持的话，那么这个模拟过程将会十分复杂：一般而言，VMM 必须运行在最高优先级来完全控制宿主机操作系统（Host OS），而 Guest OS 需要降级运行，从而不能执行特权操作。当 Guest OS 执行前面的特权汇编指令时，Host OS 产生异常（General Protection Exception），执行控制权重新从 Guest OS 转到 VMM 手中。VMM 事先分配一个变量作为影子 CR3 寄存器给 Guest OS，将 pgtable（页表）代表的 Guest OS 物理地址（Guest Physical Address）填入影子 CR3 寄存器，然后 VMM 还需要 pgtable 翻译成主机物理地址（Host Physical Address）并填入物理 CR3 寄存器，最后返回到 Guest OS中。随后 VMM 还将处理复杂的 Guest OS 缺页异常（Page Fault）。简单来说就是全虚拟化需要在 VMM 中模拟出一颗包含了控制单元、运算单元、存储单元、IS（指令集）的 CPU；此外，还需要模拟一张进行虚拟存储地址和物理存储地址转换的页表；此外，还需要在 VMM 模拟磁盘设备控制器、网络适配器等等各种 I/O 外设接口。如此依赖，Guest OS 就不知道自己其实是个虚拟机了呀，它收到了欺骗。可以想象得到，全虚拟化这种处理器密集型的虚拟化技术实现是异常困难且低效的。比较著名的全虚拟化 VMM 有 Microsoft Virtual PC、VMware Workstation、Sun Virtual Box、Parallels Desktop for Mac 和 QEMU。QEMU 在今年（2019）对外宣称可以模拟所有设备，天啊，这简直是个奇迹般的伟大软件。但基于这样的前提，全虚拟化 VMM 必须要克服许多难以解决的问题。例如：
确保 VMM 控制所有的系统资源：x86 处理器有 4 个特权级别，Ring 0 ~ Ring 3，只有运行在 Ring 0 ~ 2 时，处理器才可以访问特权资源或执行特权指令；运行在 Ring 0 级时，处理器可以访问所有的特权状态。x86 平台上的操作系统一般只使用 Ring 0 和 Ring 3 这两个级别，操作系统运行在 Ring 0 级，用户进程运行在 Ring 3 级。为了满足 资源控制（Resource Control） 虚拟化需求条件，VMM 就必须运行在 Ring 0 级，同时为了避免 Guest OS 控制系统资源，Guest OS 不得不降低自身的运行级别，运行在 Ring 1 或 Ring 3 级（Ring 2 不使用）。
特权级压缩（Ring Compression）：VMM 使用分页或段限制的方式来保护物理内存的访问，但是 64 位模式下段限制不起作用，而分页又不区分 Ring 0, 1, 2。为了统一和简化 VMM的设计，Guest OS 只能和 Guest 进程一样运行在 Ring 3 级。VMM 必须监视 Guest OS 对 GDT、IDT 等特权资源的设置，防止 Guest OS 运行在 Ring 0级，同时又要保护降级后的 Guest OS 不受 Guest 进程的主动攻击或无意破坏。
特权级别名（Ring Alias）：特权级别名是指 Guest OS 在虚拟机中运行的级别并不是它所期望的。VMM 必须保证 Guest OS 不能获知正在虚拟机中运行这一事实，否则可能打破 等价性（Equivalence） 虚拟化需求条件。例如，x86 处理器的特权级别存放在 CS 代码段寄存器内，Guest OS 可以使用非特权 push 指令将 CS 寄存器压栈，然后 pop 出来检查该值。又如，Guest OS 在低特权级别时读取特权寄存器 GDT、LDT、IDT 和 TR，并不发生异常，从而可能发现这些值与自己期望的不一样。为了解决这个挑战，VMM 可以使用动态二进制翻译（Binary Translation）的技术，例如预先把 push %%cs 指令替换，在栈上存放一个影子 CS 寄存器值；又如，可以把读取 GDT 寄存器的操作 sgdt dest 改为 movl fake_gdt, dest。
处理 Guest OS 中的系统调用（System Call）：系统调用是操作系统提供给用户的服务例程，使用非常频繁。最新的操作系统一般使用 SYSENTER/SYSEXIT 指令对来实现快速系统调用。SYSENTER 指令通过 IA32_SYSENTER_CS，IA32_SYSENTER_EIP 和 IA32_SYSENTER_ESP 这 3 个 MSR（Model Specific Register）寄存器直接转到 Ring 0 级；而 SYSEXIT 指令不在 Ring 0 级执行的话将触发异常。因此，如果 VMM 只能采取 Trap-And-Emulate 的方式处理这 2 条指令的话，整体性能将会受到极大损害。
Guest OS 频繁访问特权资源：Guest OS 对特权资源的每次访问都会触发 CPU 异常，然后由 VMM 模拟执行，如果访问过于频繁，则系统整体性能将会受到极大损害。比如对中断的屏蔽和启用，cli（Clear Interrupts）指令在 Pentium 4 处理器上需要花费 60 个时钟周期（cycle）。又比如，处理器本地高级可编程中断处理器（Local APIC）上有一个操作系统可修改的任务优先级寄存器（Task-Priority Register），IO-APIC 将外部中断转发到 TPR 值最低的处理器上（期望该处理器正在执行低优先级的线程），从而优化中断的处理。TPR 是一个特权寄存器，某些操作系统会频繁设置（Linux Kernel 只在初始化阶段为每个处理器的 TPR 设置相同的值）。
显然，基于 Trap-And-Emulate 处理方式的全虚拟化虽能够以纯软件的方式完成虚拟化并解决了许多问题，但同时也带来了极大的设计复杂性和性能下降。而对于这两个问题，半虚拟化（Partial virtualization） 想到了一个好办法：改造 Guest OS，将 Guest OS 原来所有需要被 VMM 截获、模拟的指令和操作全部改造成与 VMM 协同工作的指令（hypercall）和操作。VMM 不再隐瞒了，因为你（Guest OS）已经知道自己就是个虚拟机了。其核心思想是：动态或静态地改变 Guest OS 对特权状态访问的操作，尽量减少产生不必要的硬件异常，同时简化 VMM 的设计。半虚拟化半虚拟化是一种通过修改 Guest OS 部分访问特权状态的代码以便直接与 VMM 交互的技术。在半虚拟化虚拟机中，部分硬件接口以软件的形式提供给 Guest OS，这可以通过 Hypercall（VMM 提供给 Guest OS 的直接调用，与系统调用类似）的方式来提供。例如，Guest OS 把切换页表的代码修改为调用 Hypercall 来直接完成修改影子 CR3 寄存器和翻译地址的工作。由于不需要产生额外的异常和模拟部分硬件执行流程，半虚拟化可以大幅度提高性能，比较著名的 VMM 有 Denali、Xen。2003 年，英国剑桥大学的一位讲师发布了开源虚拟化项目 Xen，并成立 XenSource 公司，通过半虚拟化技术为 x86-64 提供虚拟化支持。同年，Intel 正式公布将在 x86 平台的 CPU 上支持虚拟化技术 VT。同年 VMWare 也被 EMC 收购，成为 EMC 迄今最成功的一笔收购。同年，微软收购 Connectix 公司获得 Virtual PC 虚拟化技术。相较于全虚拟化，半虚拟化 VMM 只需要模拟部分底层硬件，因此 Guest OS 不做修改是无法在虚拟机中运行的，甚至运行在虚拟机中的其它程序也需要进行修改，如此代价，换来的就是接近于物理机的虚拟机性能。有意思的是，半虚拟化其实也很尴尬，对于 Linux 而言自然是改了就改了，但 Windows 你要怎么改？人家可是闭源的。写到这里，不禁会想起自己写过的代码，拆东墙补西墙可不值得提倡，要从根源上解决问题。而这个根源自然就是 —— CPU。既然全虚拟化性能低的主要原因是花费了太多的精力去捕获 CPU 异常并模拟 CPU 行为，那么如果 CPU 本身就为 VMM 提供了便利，那岂不是从根本上解决了这个问题？这就是 硬件辅助虚拟化（Hardware-assisted virtualization） 。基于硬件辅助的全虚拟化Intel-VT（Intel Virtualization Technology）和 AMD-V 是目前 x86 平台上可用的两种硬件辅助虚拟化技术。VT-x 为 IA 32 处理器增加了两种操作模式：VMX root operation 和 VMX non-root operation。VMM 自己运行在 VMX root operation 模式，VMX non-root operation 模式则由 Guest OS 使用。两种操作模式都支持 Ring 0~3 这 4 个特权级，因此 VMM 和 Guest OS 都可以自由选择它们所期望的运行级别。这两种操作模式可以互相转换。运行在 VMX root operation 模式下的 VMM 通过显式调用 VMLAUNCH 或 VMRESUME 指令切换到 VMX non-root operation 模式，硬件自动加载 Guest OS 的上下文，于是 Guest OS 获得运行，这种转换称为 VM entry。Guest OS 运行过程中遇到需要 VMM 处理的事件，例如外部中断或缺页异常，或者主动调用 VMCALL 指令调用 VMM 的服务的时候（与系统调用类似），硬件自动挂起 Guest OS，切换到 VMX root operation 模式，恢复 VMM 的运行，这种转换称为 VM exit。VMX root operation 模式下软件的行为与在没有 VT-x 技术的处理器上的行为基本一致；而 VMX non-root operation 模式则有很大不同，最主要的区别是此时运行某些指令或遇到某些事件时，发生 VM exit。例如：在上面的例子中，Guest OS 能够执行修改页表的汇编指令，再无需 VMM 进行捕获、模拟。从而减少了相关的性能开销，也极大简化了 VMM 设计，进而使 VMM 能够按通用标准进行编写，性能更加强大。又因为 VMM 和 Guest OS 共享底层的处理器资源，所以硬件需要一个物理内存区域来自动保存或恢复彼此执行的上下文。这个区域称为虚拟机控制块（VMCS），包括客户机状态区（Guest State Area），主机状态区（Host State Area）和执行控制区。VM entry 时，硬件自动从客户机状态区加载 Guest OS 的上下文。并不需要保存 VMM 的上下文，原因与中断处理程序类似，因为 VMM 如果开始运行，就不会受到 Guest OS的干扰，只有 VMM 将工作彻底处理完毕才可能自行切换到 Guest OS。而 VMM 的下次运行必然是处理一个新的事件，因此每次 VMM entry 时， VMM 都从一个通用事件处理函数开始执行；VM exit 时，硬件自动将 Guest OS 的上下文保存在客户机状态区，从主机状态区中加载 VMM 的通用事件处理函数的地址，VMM 开始执行。而执行控制区存放的则是可以操控 VM entry 和 exit 的标志位，例如标记哪些事件可以导致 VM exit，VM entry 时准备自动给 Guest OS “塞” 入哪种中断等等。客户机状态区和主机状态区都应该包含部分物理寄存器的信息，例如控制寄存器 CR0，CR3，CR4；ESP 和 EIP（如果处理器支持 64 位扩展，则为 RSP，RIP）；CS，SS，DS，ES，FS，GS 等段寄存器及其描述项；TR，GDTR，IDTR 寄存器；IA32_SYSENTER_CS，IA32_SYSENTER_ESP，IA32_SYSENTER_EIP 和 IA32_PERF_GLOBAL_CTRL 等 MSR 寄存器。客户机状态区并不包括通用寄存器的内容，VMM 自行决定是否在 VM exit 的时候保存它们，从而提高了系统性能。客户机状态区还包括非物理寄存器的内容，比如一个 32 位的 Active State 值表明 Guest OS 执行时处理器所处的活跃状态，如果正常执行指令就是处于 Active 状态，如果触发了三重故障（Triple Fault）或其它严重错误就处于 Shutdown 状态，等等。执行控制区用于存放可以操控 VM entry 和 VM exit 的标志位，包括：
External-interrupt exiting：用于设置是否外部中断可以触发 VM exit，而不论 Guest OS 是否屏蔽了中断。
Interrupt-window exiting：如果设置，当 Guest OS 解除中断屏蔽时，触发 VM exit。
Use TPR shadow：通过 CR8 访问 Task Priority Register（TPR）的时候，使用 VMCS 中的影子 TPR，可以避免触发 VM exit。同时执行控制区还有一个 TPR 阈值的设置，只有当 Guest OS 设置的 TR 值小于该阈值时，才触发 VM exit。
CR masks and shadows：每个控制寄存器的每一位都有对应的掩码，控制 Guest OS 是否可以直接写相应的位，或是触发 VM exit。同时 VMCS 中包括影子控制寄存器，Guest OS 读取控制寄存器时，硬件将影子控制寄存器的值返回给 Guest OS。
点击阅读原文，输入关键词，即可搜索您想要的 CSDN 文章。