跨数据中心大型双活X86虚拟化资源池研究

Posted 2021-05-02 三墩IT人

1、 引言

随着国内电信运营商各种业务的快速发展，IT系统基础设施面临的压力持续增长，烟囱式的系统建设方式导致系统资源无法共享，系统上线周期长，响应业务需求慢的现状；在生产中，系统负载严重不均衡，整体资源利用率低，运维成本居高不下；同时异构设备环境下存在软硬件绑定、设备非标准化、兼容性差等问题。

云计算技术基于标准化的软硬件架构和接口可实现大规模集群部署，同时通过主机、存储等虚拟化技术建立跨系统的共享资源池，提供资源的动态分配，具有高可靠性的处理能力，可有效提升系统资源利用率，大大降低系统的管理难度，成为低成本、高效率IT系统的必然选择。同时，X86刀片服务器以其高密度、可分布式的计算能力，在单位空间更低的功耗和成本，逐渐成为云计算架构的基础平台。

X86刀片服务器优点众多，但也存在可靠性较低的问题，基于X86刀片服务器的虚拟化资源池可以有效提升可靠性和可维护性，但是多数资源池仍局限于一个数据中心内部，如何进一步提升资源池的可用性，实现资源的跨数据中心平滑迁移？是当下普遍碰到的一个难点，也是本文所要阐述的重点。

2、 跨中心X86虚拟化资源池及其关键技术分析

利用X86虚拟化技术建设IaaS（infrastructure as a service，基础设施即服务）资源池，已经成为业界比较流行的做法。但是IaaS资源池作为资源提供层，承担着整个云计算架构的资源提供、业务部署、数据存储、服务提供和安全管理的重要责任。对于核心的企业数据资产，必须建立异地容灾系统，预防不可避免的、非计划性的意外灾害的发生，保证部署在资源池上的各项业务的连续性，此时建设跨数据中心进行资源平滑迁移的资源池必然成为首选。

建设跨中心的X86虚拟化资源池，关键技术有三，分别是X86主机虚拟化技术、跨中心大二层网络技术以及双活的存储复制技术。

2.1 X86主机虚拟化技术

主机虚拟化指在物理服务器基础上构建一个虚拟化层，模拟多个相互独立的虚拟服务器，从而将CPU、内存、I/O等服务器物理资源转化为一组统一管理，可灵活调度、动态分配的逻辑资源。

X86主机采用底层硬件模拟技术实现虚拟化，利用虚拟机为上层操作系统提供虚拟的运行环境，所有应用在虚拟机上运行。X86主机虚拟化的实现方式分为四个类型，分别是依靠纯软件实现主机虚拟化的寄居型虚拟化架构、虚拟层直接运行在底层硬件系统上的裸金属虚拟化架构、虚拟层运行在原主机操作系统之上的操作系统虚拟化架构以及混合虚拟化架构。

业界主流厂家的产品，从产品成熟度、系统性能、业务迁移能力、硬件要求、支持的操作系统、开放性等多个方面分析，目前应用范围最广、最成熟的是基于裸金属虚拟化架构的三种产品，即WMWare ESX、Citrix Xen、Microsoft Hyper-V。

2.2 跨中心大二层网络技术

2.3 双活的存储复制技术

目前资源池的异地容灾方式有以下几种方式，一是通过备份软件进行虚拟机异地备份和恢复，比如Symantec公司的NetBackup Instant Recovery for Virtual machines；二是基于存储设备的远程复制技术进行存储异地备份，比如IBM公司PPRC、EMC公司的SRDF、Hitachi公司的TrueCopy。前者数据备份或复制不实时，存在数据丢失风险，后者容灾端在复制时处于不激活状态，要启用容灾必须先进行人工激活，导致维护难度、维护成本的增加。

双活的存储复制技术，比如EMC公司的VPLEX，实质是进行远程卷镜像，可以创建任意一个逻辑卷（Volume）供业务主机使用，实际上是由两个完全对等的、容量相同的磁盘片构成的，两个磁盘片上的数据完全一样，业务主机对该Volume的任意修改，都将同时被写到位于生产中心和灾备中心的两个磁盘系统上。采用这种方式，生产中心的磁盘阵列与容灾中心的磁盘阵列对于两地的主机而言是完全同等的，可以实现数据系统的异地容灾。并且消除了复制技术的切换的动作，从而保证零停机时间，零数据损失的实现。

同理，这种复制技术对于底层的SAN（Storage Area Network 存储区域网络）带宽和稳定性要求极高。

3、 跨中心资源池的实现

3.1 实现方案

图1 跨中心资源池实现方案图

数据中心A和数据中心B两个中心的软硬件架构相同，互为主备，虚拟机作为可以被灵活生成、调度、管理的基础资源单位，跨中心虚拟化资源池的实现原理如图2所示。

图2 跨中心资源池实现原理图

该解决方案由四个部分结果组成，分别为：

2、SAN网络：在图2中以SAN交换机A、SAN交换机B和VPLEX示意，通过裸光纤或波分设备将两个中心的SAN网络互连，利用VPLEX实现双活存储复制。

3、存储：在图2中以存储A和存储B示意，存储可根据应用需求划分若干LUN（Logical Unit Number，逻辑单元号），LUN1和LUN2互为镜像，保证数据的实时一致性。

4、资源池：在图2中以资源池A和资源池B示意，两个资源池同属一个VCenter进行控制。

3.2 主备切换过程

由于大二层网络和双活存储复制技术的保证，跨中心资源池实际上可以看成一个大型的本地资源池，由同一个VCenter实现计划内的VMotion和故障容灾切换：

• 单中心发生存储故障：由于双活镜像，业务系统可以通过SAN网络直接访问另一个中心的存储数据，而不需要有任何针对业务系统的动作。也就是说，单中心存储系统的灾难，对业务系统是透明的。

• 单中心资源池故障：VCenter通过HA机制，将故障中心的资源平滑迁移至另一个中心，无任何数据丢失。

• 单中心网络交换机故障：判断为资源池故障，将故障中心的资源平滑迁移至另一个中心，无任何数据丢失。

• IP网络互连或者SAN互连故障：通过第三方witness进行判断，隔离事先指定的数据中心资源池，将被隔离中心的资源平滑迁移至另一个中心，无任何数据丢失。

总的来说，上述的解决方案能够支持虚拟机数据到异地容灾中心的实时同步，主中心灾难情况下数据零丢失；在主中心故障的情况下，虚拟机自动在容灾中心资源池拉起；自动切换网络接入和资源池，对外提供的业务和访问方式不变，不需要修改外围系统配置；在主中心恢复的情况下，可以立即进行回切主中心操作，不需要进行反向数据复制。

4、 效果预期

4.1 效益分析

通过X86资源池的引入，一方面大幅降低了服务器采购成本和运维成本，另一方面系统迁移至资源池后，CPU使用率预计可以从10-30%提升至30-50％，同样能力的硬件资源可以承载更多的应用系统，从而降低IT基础设施的整体拥有成本(TCO)。

同时由于资源交付效率和资源的标准化大幅提升，以及系统稳定性进一步提升，需求完成及时率将有效提升，系统中断时长会降低。

4.2 经验共享

通过跨中心资源池研究，有如下经验可供参考：

• 数据中心之间的大二层直连线路和SAN传输链路尽量同一物理线路，避免“脑裂”的发生，同时推荐数据中心之间的光纤链路距离在100KM以内。

• 将虚拟机的存储划分为系统盘+应用盘，此规则一方面可以避免系统、应用相互干扰，另一方面在存储的划分也可以采用不同策略，从而节约资源。

• 所有Cluster中的成员刀片服务器，以散而有序的规则选取，每个cluster做到跨物理机、跨框、跨机柜、跨机房以及一个备机的“四跨一备”高可用标准，此规划原则可以最大限度保障资源池的高可用性。

• 业务网络，采用分布式交换机，虚拟机负载均衡算法使用Route based on IP Hash模式，此规则可以使当前网络达到最优的使用率。管理网络，建立两组vMkernel Port，一组用于管理，一组用于vMotion。两个接口互为备份。此规则在最大限度节省网络端口的情况下做到了高冗余。

5、 结束语

云计算在各大电信运营商IT系统的部署步伐的正在加快，本文提出的跨数据中心资源平滑迁移的X86虚拟化资源池解决方案，可为电信运营商提供借鉴，有非常大的推广应用价值。