【重识云原生】第2.3节——主流虚拟化技术之Xen

Posted 2023-04-08

参考技术A Xen知识地图：

        Xen是由剑桥大学计算机实验室开发的一个开源项目，是一个开源的可直接运行于硬件层之上的虚拟化软件，它属于type-I型虚拟化系统，支持万贯虚拟化和超虚拟化，以高性能、占用资源少著称，赢得了IBM、AMD、HP、Red Hat和Novell等众多世界级软硬件厂商的高度认可和大力支持，已被国内外众多企事业用户用来搭建高性能的虚拟化平台。

        Xen仅对CPU和Memory直接接管，而其它IO硬件驱动则由其上运行的第一个虚拟机来提供支持，它能够在计算机硬件上并发的运行多个客户操作系统（Guest OS）。支持x86、x86-64、安腾( Itanium)、Power PC和ARM多种处理器，因此Xen可以在大量的计算设备上运行，目前Xen支持Linux、NetBSD、FreeBSD、Solaris、 Windows和其他常用的操作系统作为客户操作系统在其管理程序上运行。

　    Xen默认认为自己是直接运行于硬件层之上的虚拟化软件（即Xen Hypervisor层），并且可以直接驱动CPU和内存，需注意CPU和内存是所有想要运行的操作系统必须能直接支持的，但Xen为保证自身的小巧，它并没有提供虚拟机的管理接口，因此它采用了一种独特的方式，先运行一台特权虚拟机（即Domain 0），且这台VM必须支持Kernel的修改，因此选择开源的Linux做为特权VM是最合适的，这样也可方便采用Linux所支持的方式来开发虚拟机管理接口，实现与Xen Hypervisor层直接交互来完成为VM分配CPU和内存资源及创建、删除、停止、启动VM的管理接口。通常这台特权虚拟机一定会采用当前比较流行的Linux发行版，因为它能支持更多IO硬件设备，如：网卡，磁盘，显卡，声卡等；到目前为止，NetBSD，GNU/Linux，FreeBSD和Plan 9，OpenSolaris等系统已经支持已半虚拟化方式运行在Xen的DomU中。目前Xen已经支持x86、x86_64和ARM等平台，并正在向IA64、PPC移植。移植到其他平台从技术上是可行的，未来有可能会实现。

        Xen虚拟机支持在不停止的情况下在多个物理主机之间实时迁移。在操作过程中，虚拟机在没有停止工作的情况下内存被反复地复制到目标机器。虚拟机在最终目的地开始执行之前，会有一次60-300毫秒的非常短暂的暂停以执行最终的同步化，给人无缝迁移的感觉。类似的技术被用来暂停一台正在运行的虚拟机到磁盘，并切换到另外一台，第一台虚拟机在以后可以恢复。

　　如上图所示，Xen虚拟环境由三部分组件组成：

XEN Hypervisor

        Xen Hypervisor 是介于操作系统和硬件之间的一个软件抽象层。它负责在各个虚拟机之间进行CPU调度和内存分配。Xen Hypervisor不仅抽象出虚拟机的硬件，同时还控制着各个虚拟机的执行。Xen Hypervisor不会处理网络、存储设备、视频以及其他 I/O。

Domain 0 Guest

        Domain 0是特权域，是一个修改过的Linux kernel，是唯一运行在 Xen Hypervisor之上的虚拟机，它拥有访问物理 I/O 资源的权限，同时和系统上运行的其他虚拟机（Domain U: PV and HVM Guest）进行交互。Domain 0需要在其它Domain启动之前启动。

        Domain 0 中有两个驱动 Network Backend Driver 和 Block Backend Driver，它们分别用来处理来自 Domain U 的网络和本地磁盘请求。 Network Backend Driver与本地网络硬件直接通信，以此来处理来自于Domain U所有虚拟机访问网络设备的请求；Block Backend Drive与本地存储设备进行通信，以此来处理来自于Domain U的磁盘数据读写的请求。

Domain U Guest(Dom U)

        Domain U没有直接访问物理硬件的权限（Domain U的"U"是来自于英文单词 unprivileged，是指没有权限的），但Domain 0有。

        运行在 Xen Hypervisor 上的所有半虚拟化（paravirtualized）虚拟机被称为“Domain U PV Guests”，其上运行着被修改过内核的操作系统，如 Linux、Solaris、FreeBSD 等其它 UNIX 操作系统。

        所有的全虚拟化虚拟机被称为“Domain U HVM Guests”，其上运行着不用修改内核的操作系统，如 Windows 等。

        Domain U PV Guest 中也包括两个驱动“PV Network Driver”和“PV Block Driver”，它们分别也是用来处理发送网络和本地磁盘请求用的，这与 Domain 0 中的两个驱动是相对应的。

     Xen对虚拟机的虚拟化分为两大类，半虚拟化（Para virtualization）和完全虚拟化（Hardware VirtualMachine）。

       半虚拟化（Paravirtualization）有些资料称为“超虚拟化”，简称为PV，是Xen主导的虚拟化技术。这种技术允许虚拟机操作系统感知到自己运行在Xen Hypervisor上而不是直接运行在硬件上，同时也可以识别出其他运行在相同环境中的客户虚拟机。

       在Xen Hypervisor上运行的半虚拟化的操作系统，为了调用系统管理程序（Xen Hypervisor），要有选择地修改操作系统，然而却不需要修改操作系统上运行的应用程序。由于 Xen 需要修改操作系统内核，所以您不能直接让当前的 Linux 内核在 Xen 系统管理程序中运行，除非它已经移植到了Xen 架构。不过，如果当前系统可以使用新的已经移植到 Xen 架构的Linux 内核，那么您就可以不加修改地运行现有的系统。

       完全虚拟化（Hardware Virtual Machine）又称“硬件虚拟化”，简称HVM，是指运行在虚拟环境上的虚拟机在运行过程中始终感觉自己是直接运行在硬件之上的，并且感知不到在相同硬件环境下运行着其他虚拟机的虚拟技术。此种虚拟化需要借助于Intel的VT-x 或 AMD的AMD-v 等硬件辅助虚拟化技术（详细技术原理参见1.5.1节）及Qemu的IO硬件模拟技术，才能支持GuestOS的kernel不修改,就可直接被DomU支持。

       在Xen Hypervisor运行的完全虚拟化虚拟机，所运行的操作系统都是标准的操作系统，即：无需任何修改的操作系统版本。同时也需要提供特殊的硬件设备。

       值的注意的是，在Xen上虚拟的Windows虚拟机必须采用完全虚拟化技术。

       为了提高性能，完全虚拟化的Guests可以使用特殊的半虚拟设备驱动程序（PVHVM或PV-on-HVM驱动）。这些驱动程序在HVM环境下优化你的 PV驱动，模拟的磁盘和网络IO旁路运行，从而让你的PV在HVM中有更好的性能。这意味着你在用户窗口操作方面可以得到最佳的性能。

       注意，Xen项目PV（半虚拟化）的Guest自动使用PV驱动，因此不需要这些驱动程序，因为你已经自动使用优化的驱动程序。PVHVM只会在HVM（全虚拟化）guest虚拟机中需要。

       Xen 的 VMM ( Xen Hypervisor ) 位于操作系统和硬件之间，负责为上层运行的操作系统内核提供虚拟化的硬件资源，负责管理和分配这些资源，并确保上层虚拟机（称为域 Domain）之间的相互隔离。Xen采用混合模式，因而设定了一个特权域用以辅助Xen管理其他的域，并提供虚拟的资源服务，该特权域称为Domain 0，而其余的域则称为Domain U。

       Xen向Domain提供了一个抽象层，其中包含了管理和虚拟硬件的API。Domain 0内部包含了真实的设备驱动（原生设备驱动），可直接访问物理硬件，负责与 Xen 提供的管理 API 交互，并通过用户模式下的管理工具来管理 Xen 的虚拟机环境。

       Xen2.0之后，引入了分离设备驱动模式。该模式在每个用户域中建立前端（front end）设备，在特权域(Dom0)中建立后端(back end)设备。所有的用户域操作系统像使用普通设备一样向前端设备发送请求，而前端设备通过IO请求描述符(IO descripror ring)和设备通道（device channel）将这些请求以及用户域的身份信息发送到处于特权域中的后端设备。这种体系将控制信息传递和数据传递分开处理。

       在Xen体系结构设计中，后端设备运行的特权域被赋予一个特有的名字---隔离设备域(Isolation Device Domain, IDD)，而在实际设计中，IDD 就处在Dom0中。所有的真实硬件访问都由特权域的后端设备调用本地设备驱动 (native device driver)发起。前端设备的设计十分简单，只需要完成数据的转发操作，由于它们不是真实的设备驱动程序，所以也不用进行请求调度操作。而运行在IDD中的后端设备，可以利用Linux的现有设备驱动来完成硬件访问，需要增加的只是IO请求的桥接功能---能完成任务的分发和回送。

1）半虚拟化技术实现原理

       采用半虚拟化技术的虚拟机操作系统能够识别到自己是运行在Xen Hypervisor而非直接运行于硬件之上，并且也可以识别到在相同的机器上运行的其他虚拟机系统。而且运行的操作系统都需要进行相应的修改。

       半虚拟化客户机（Domain U PV Guests）包含两个用于操作网络和磁盘的驱动程序，PV Network Driver 和PV Block Driver。

       PV Network Driver负责为Domain U提供网络访问功能。PV Block Driver负责为Domain U提供磁盘操作功能。

2）完全虚拟化技术实现原理

       完全虚拟化客户机（Domain U HVM Guests）运行的是标准版本的操作系统，因此其操作系统中不存在半虚拟化驱动程序（PV Driver），但是在每个完全虚拟化客户机都会在Domain 0中存在一个特殊的精灵程序，称作：Qemu-DM，Qemu-DM帮助完全虚拟化客户机（Domain U HVM Guest）获取网络和磁盘的访问操作。

       完全虚拟化客户机必须和在普通硬件环境下一样进行初始化，所以需要在其中加入一个特殊的软件Xen virtual firmware，来模拟操作系统启动时所需要的Bios。

       开源社区中将一系列的Linux精灵程序分类为“管理”和“控制”两大类。这些服务支撑着整个虚拟环境的管理和控制操作，并且存在于Domain 0虚拟机中。

       下面将对直接服务进行详细的描述。

       注：为了清晰的描述Xen的运行流程，画图时将精灵程序放在Domain 0外部来描述，但事实上所有精灵程序都存在于Domain 0 之中。

1）Xend

       Xend精灵线程是一个Python应用程序，它作为Xen环境的系统管理员。它利用Libxenctrl类库向Xen Hypervisor发出请求。

       所有Xend处理的请求都是由XM工具使用XML RPC接口发送过来的。

2）Xm

       用于将用户输入通过XML RPC接口传递到Xend中的命令行工具。

3）Xenstored

       Xenstored精灵程序用于维护注册信息，这些信息包括内存和在连接Domain 0和所有其他Domain U之间的事件通道。Domain 0虚拟机利用这些注册信息来与系统中其他虚拟机建立设备通道，即帮助Domain U虚拟机访问硬件资源。

4）Libxenctrl

       Libxenctrl是C程序类库，用于让Xend具有通过Domain 0与Xen Hypervisor进行交互的能力。在Domain 0中存在一个特殊的驱动程序称作privcmd，它将请求发送给Hypervisor。

5）Qemu-DM

       在Xen环境下，每个完全虚拟化虚拟机都需要拥有自己的Qemu精灵程序。Qemu-DM处理在Xen环境下完全虚拟化客户机所能允许执行的所有关于网络 和磁盘请求和操作。Qemu程序必须存在于Hypervisor之外同时又需要访问网络和I/O，所以Qemu-DM必须存在于Domain 0 中（参见前面章节对Domain 0 的描述）。

       未来版本的Xen中，一种新的工具Stub-DM将会提供一系列对所有完全虚拟化客户机都可用的服务，以此来替代需要在每个虚拟机上都生成一个Qemu的逻辑。

6）Xen Virtual Firmware

       Xen Virtual Firmware是被嵌入到所有完全虚拟化客户机中的虚拟BIOS系统，来确保所有客户操作系统在正常启动操作中接收到标准的启动指令集并提供标准的软件兼容环境。

       根据前几章节所述，Xen Hypervisor不负责处理网络和磁盘请求，因此半虚拟化客户机（Domain U PV）必须通过Domain 0 与Xen Hypervisor进行通信，从而完成网络和磁盘的操作请求。下面以半虚拟化客户机（Domain U PV）执行向本地磁盘写入数据为例描述Domain 0与Domain U PV的交互过程。

       半虚拟化客户机（Domain U PV）的PV Block Driver接收到要向本地磁盘写入数据的请求，然后通过Xen Hypervisor将与Domain 0共享的本地内存中的数据写入到本地磁盘中。在Domain 0 和半虚拟化Domain U之间存在事件通道，这个通道允许它们之间通过存在于Xen Hypervisor内的异步中断来进行通信。Domain 0将会接收到一个来自于Xen Hypervisor的系统中断，并触发Domain 0中的Block Backend驱动程序去访问本地系统内容，并从与半虚拟化客户机的共享内存中读取适合的数据块。从共享内存中读取的数据随后被写入到本地磁盘的指定位置中。

     上图中所显示的事件通道是直接连接Domain 0 和Domain U PV是为了清晰和简单的描述系统是如何运行的。但事实上，事件通道（Event Channel）运行于Xen Hypervisor中，并在Xenstored中注册特定的系统中断，以此来让Domain 0 和Domain U PV能够通过本地内存快速的共享信息。

　　Xen在给VM提供CPU的虚拟化时，它采用的也是在Xen hypervisor层启动一个线程，并将这些线程映射到某个物理核心上，当然通过DomU的配置文件中的cpus可以指定将这些模拟CPU的线程绑定到某几个物理核心上；而内存的虚拟化则是内存页的映射，将物理内存上多个连续或不连续的内存页映射给VM，让VM看来这就是一个完整的连续的内存空间。

　　当启动一个用户VM(DomU)时，该VM所需的CPU和内存都由Xen Hypervisor提供，而它若需要使用IO设备时，则向特权VM(即Dom0)发起请求，特权VM会为该用户VM创建一个模拟的硬件设备线程，并运行于特权VM的用户空间，当用户VM向该IO硬件发起调用时，特权VM上相应的模拟设备接收请求并将其转化为特权VM对IO硬件的操作，交给特权VM的内核来代为完成其操作。这里需注意这些虚拟IO硬件需要由Qemu来模拟，Xen本身并没有提供相应的模拟功能。（注：特权VM的CPU和内存也是有Xen Hypervisor提供）

1）Qemu模拟IO设备(完全虚拟化方式)

　　Qemu模拟IO设备(完全虚拟化方式)：假如用户VM向特权VM请求磁盘，特权VM可以将一个分区、文件等，通过Qemu将其模拟成一个磁盘设备，就拿文件来说，特权VM先创建一个映像文件，再通过Qemu为该文件模拟一个磁盘控制器芯片；然后，将其映射到用户VM上，当然模拟的这个磁盘控制器芯片一定是一个最常见的，用户VM的Kernel一定支持的，但需注意：模拟的磁盘可能会与实际的物理磁盘不同，因为要尽可能兼容。这样一来用户VM假如要写数据到磁盘的过程如下：

　　用户VM-APP--->用户VM-Kernel调用虚拟磁盘的驱动进行写数据前的准备(如：数据写入到磁盘中的扇区位置/数据编码等)--->

　　用户VM-Kernel将编码后的信息发给特权VM的模拟磁盘进程--->

　　特权VM的模拟磁盘进程再将编号信息还原后发给特权VM-kernel--->

　　特权VM-kernel调用真实物理磁盘的驱动对数据进行写前准备--->最后磁盘驱动调度磁盘完成写入

摘录补充:（ http://my.oschina.net/davehe/blog/94039?fromerr=mOuCyx6W ）

        Xen向Domain提供了一个抽象层，其中包含了管理和虚拟硬件的API。Domain 0内部包含了真实的设备驱动（原生设备驱动），可直接访问物理硬件，Xen 提供的管理 API 可与其交互，并通过用户模式下的管理工具(如：xm/xend、xl等)来管理 Xen 的虚拟机环境。

2）半虚拟化IO设备

        半虚拟化的IO设备：它与模拟最大不同是DomU知道自己是运行在虚拟化环境中的，并且知道这个磁盘不是真正的磁盘，它只是Xen模拟的一个磁盘前端驱动(Disk Frontend)，它要写数据时，直接将数据交给Disk Frontend，而不再去调用磁盘驱动进行数据编码，当特权VM端的Disk backend收到来自DomU的数据时，也是直接转给特权VM-Kernel，由其直接调用物理磁盘驱动来对这些原始数据进行处理并写入磁盘。

摘录补充：（ http://my.oschina.net/davehe/blog/94039?fromerr=mOuCyx6W ）

　　Xen2.0之后，引入了分离设备驱动模式。该模式在每个用户域中建立前端（front end）设备，在特权域(Dom0)中建立后端(back end)设备。所有的用户域操作系统像使用普通设备一样向前端设备发送请求，而前端设备通过IO请求描述符(IO descripror ring)和设备通道（device channel）将这些请求以及用户域的身份信息发送到处于特权域中的后端设备。这种体系将控制信息传递和数据传递分开处理（类似云计算中常说的控制面与数据面分离设计）。

　　半虚拟化客户机（Domain U PV）的PV Block Driver接收到要向本地磁盘写入数据的请求，然后通过Xen Hypervisor将自己与Domain 0共享的本地内存中的数据写入到本地磁盘中。在Domain 0 和半虚拟化Domain U之间存在事件通道，这个通道允许它们之间通过存在于Xen Hypervisor内的异步中断来进行通信。Domain 0将会接收到一个来自于Xen Hypervisor的系统中断，并触发Domain 0中的Block Backend驱动程序去访问本地系统内容，并从自己与半虚拟化客户机的共享内存中读取适合的数据块后，随即被写入到本地磁盘的指定位置中。

   　 但无论采用模拟或半虚拟化最终都是对物理磁盘的操作，假如当前只有一个物理磁盘，众多用户VM都在进行大量的读写请求，此时，为了避免用户VM无限制的向特权VM发起请求，特权VM中采用一个环状缓存区，每到一个IO请求，就先将其塞入这个环状缓冲区的槽位中，若缓冲区满了，就会告诉用户VM IO设备繁忙。当然其它各种IO设备大致都采用这种机制来控制。

        在虚拟化环境中虚拟网络是十分重要但又比较难,需要特别注意；

　　在Linux中实现虚拟网络的方法中比较常用的工具有两个：bridge-utils 和 openvswitch，它们创建的虚拟网络设备是不能相互使用的，比如：bridge-utils创建的桥设备，openvswitch是无法识别的。

　　用下图来做简单说明：

1）Bridge模式

Xend启动时流程：

1、创建虚拟网桥 xenbr0；

2、停止物理网卡 eth0；

3、物理网卡 eth0 的 MAC 地址和 IP 地址被复制到虚拟网卡 veth0；

4、物理网卡 eth0 重命名为 peth0；

5、Veth0 重命名为 eth0；

6、Peth0 的 MAC 地址更改（ FE:FF:FF:FF:FF:FF ），ARP 功能关闭；

7、连接 peth0、vif0.0 到网桥 xenbr0

8、启动 peth0、vif0.0、xenbr0

Domain U 启动时的流程：

1、vif<domainID>.0 连接到 xenbr0

2、启动vif<domainID>.0

2）Route 模式

Xend启动时的流程：

1、开启Domain 0的IP Forward。

Domain U启动时的流程：

1、创建 vif<domainID>.0 ，dom U eth0的IP地址被拷贝到vif<domainID>。

2、启动 vif<domainID>.0。

3、为domU的配置文件中指向虚拟接口vif.0分配的IP地址增加静态路由。

3）NAT模式

NAT 模式会使用虚拟局域网 virbr0

    安装了Xen的Linux机器，在Dom 0中能看到以下几类网卡（网络接口设备 ）：

(X ，Y都为数字)

pethY

ethY

xenbrY

virbrY

vifX.Y（X为DomaiID，Y表示该虚拟网卡是该Domain的第几块虚拟网卡）

vethY （一般在Xend启动完成以后就不存在了）

　　xend : 这是Xen Hypervisor的Dom0上运行的服务,此服务用来监控xm命令发来的指令,并完成相应的动作。

　　xm : Xen Management,用来管理VM的创建、删除、启动、快照、删除、停止等的管理工具。

　　xl : 这是一个基于libxenlight库的一个轻量级VM管理工具，它从Xen4.1开始出现,从4.3以后,它被作为主要的VM管理工具,而xm这个重量级管理工具开始被提示废弃.以下为xm、xl的对比图:

  　  xl 和 xm都需要调用libxenlight，但xl不需要运行任何服务,它可直接调用libxenlight完成相关操作。

　　xe/XAPI，是xend的一个API管理接口,通常用于Xen Cloud环境中：Xen Server, XCP

　　virsh/ libvirt : 这是Redhat发起开发的一套用于管理众多不同类别的VM的管理工具。

　　　　virsh : 这是一个命令行工具

　　　　libvirt: 则是一个lib库, libvirtd守护进程用于监听virsh命令操作,并调用lbvirt完成相关操作.

　　10年4月Xen4.0.0发布，改进后Xen的DomU最大可支持虚拟CPU 64颗，Xen主机可支持1TB内存和128颗物理CPU，磁盘可支持快照和克隆；HVM客户机支持虚拟内存页共享；

　　11年4月发布的Xen4.1版后，xm/xend开始被提示废弃，xl这个更轻量级的Xen VM管理工具逐渐成为主流。

15年为止已经发布Xen4.5版本，目前yum源可用的最新版Xen是4.6.1版的(http://mirrors.skyshe.cn/centos/6.7/virt/x86_64/xen-46/)。

　　Linux2.6.37：kernel开始对Xen进行支持,并加其加入到Kernel中。

　　Linux3.0：Kernel开始对Xen的关键部分进行优化。

　　RHEL对Xen的支持概况：

　　　　Redhat系列对Xen的支持情况：

　　　　RHEL5.7 ~ 及以前版本：默认的企业虚拟化技术为Xen。

　　但Redhat提供了两种内核：

　　　　kernel-... ：这是仅允许RHEL系统的内核，不能运行在DomU中。

　　　　kernel-xen.. ：这是需要部署XenServer时,使用的Kernel版本。

　　　　RHEL6 ~ 及以后版本：默认支持KVM(收购自以色列的一款虚拟化工具)，并且不在对Xen做任何支持，但允许自己运行在DomU中。

Linux内核态、用户态简介与IntelCPU特权级别--Ring0-3_weixin_30784501的博客-CSDN博客

云计算技术 — 云计算技术发展编年史_烟云的计算-CSDN博客_云计算编年史

虚拟化技术原理（CPU、内存、IO）_joneslee的博客-CSDN博客_虚拟化原理

五种主流的虚拟化技术_远有青山-CSDN博客_虚拟化技术

Xen原理

Xen原理 - 张朝锋 - 博客园

Xen虚拟化技术原理_IT人生活的技术博客_51CTO博客

Xen虚拟化基本原理详解

Xen虚拟化基本原理详解 - stardsd - 博客园

Xen工作原理_为幸福写歌的博客-CSDN博客_xen原理

Xen_百度百科

云网络4.4节——Spine-Leaf网络架构

   最新文章欢迎关注笔者公众号“畅游云海”

  《重识云原生系列》专题索引：

1. 第一章——不谋全局不足以谋一域
2. 第二章计算第1节——计算虚拟化技术总述
3. 第二章计算第2节——主流虚拟化技术之VMare ESXi
4. 第二章计算第3节——主流虚拟化技术之Xen
5. 第二章计算第4节——主流虚拟化技术之KVM
6. 第二章计算第5节——商用云主机方案
7. 第二章计算第6节——裸金属方案