2684 亿背后的虚拟化技术：双 11 All on 神龙 | 问底中国 IT 技术演进

Posted 2021-05-02 CSDN

作者 | 阿里云神龙团队 杨航、姚捷

在平稳度过2019天猫双11流量峰值后，阿里巴巴正式宣布，双11核心系统已100%跑在阿里云上。中国唯一自研的飞天云操作系统，成功扛住全球最大规模的流量洪峰！

零点刚过1分36秒，天猫双11成交总额便突破100亿元，成交速度比去年更快。今年的订单创建峰值更是创下新的世界纪录，达到 54.4万笔/秒，是2009年第一次双11的1360倍。

据悉，两个月前，阿里巴巴就已悄悄完成这一浩大的迁徙工程，将数以十万计的物理服务器从线下数据中心迁移到了云上。然而，淘宝、天猫的消费者和商家对这个“给飞机换引擎”的过程毫无感知。

由此，阿里巴巴成为全球首个将核心交易系统100%运行在公共云上的大型互联网公司。同为云计算巨头的亚马逊、微软、Google，都尚未迈出这一步。

双11极致的表现离不开阿里云自研神龙服务器架构的支持。2019年，双11核心系统全面搭载在神龙之上，后者输出数百万CPU核计算能力，全量承载电商、大数据、蚂蚁、饿了么、Lazada等海内外业务。

本文先从阿里巴巴双11核心系统全面上云为何选择神龙开始，继而分享双11 “All on 神龙”的架构与运行情况，最后是神龙团队备战双11的经验总结。

全面上云巨大挑战

2019 年双 11 的实测，集群的规模超过百万容器，单容器集群节点数量过万，数据库的峰值超过 54 万笔每秒，对应 8700 万查询每秒，而实时计算每秒峰值处理消息超过 25 亿条，消息系统 RocketMQ 峰值处理了超过每秒 1.5 亿条消息。

这些数据背后所代表的，就是上云过程中形成的巨大挑战。

神龙，解决了传统虚拟化痛点

双11核心系统上云之所以选择神龙架构，因其具备高性能，并支持二次虚拟化。

在阿里巴巴双11核心系统大规模迁移到神龙架构前，阿里云团队在 618/99 大促时验证，阿里巴巴集团电商的容器运行在云上反而比非云物理机的性能要好10%-15%。 

双 11 期间压力测试也显示，高负载压力下的电商应用，实现 30% 的 QPS 上升，而 rt 也有明显下降，长尾 rt 下降尤其明显。

神龙之所以能有如此明显提性能提升，是因为将网络/存储的虚拟化开销 offload 到硬件加速卡上，降低了约 8% 的计算虚拟化的开销。

原来传统x86虚拟化系统存在以下痛点:

（1）传统虚拟化系统导致CPU计算特性缺失，比如Intel至强处理器的VT硬件辅助虚拟化能力会被虚拟化系统“消费掉”，让客户无法在公共云VM实例中再次部署虚拟化系统。这样导致的后果就是：

1. 传统OpenStack和基于VMware的负载无法在公共云部署

2. 云原生安全容器创新难以为继，因其依赖Intel VT硬件辅助虚拟化能力输出

   公共云IaaS计算资源必须输出包含VT硬件辅助虚拟化能力在内的处理器完整ISA特性，才能加速Kata、Firecracker、gVisor等IaaS和云原生技术的创新。

（2）传统虚拟化系统资源占用开销无可避免。以传统KVM虚拟化系统为例，其云盘块存储、网络包转发处理，都要占用Host主机侧CPU和内存资源来做，这就存在一定的资源占用开销。

（3）传统KVM虚拟化系统导致IO性能瓶颈

存储虚拟化和网络虚拟化虽然通过DPDK和SPDK等技术接近了软件优化的技术极限，但是仍然无法和芯片硬件加速的性能/时延/质量相媲美。特别是在网络吞吐向100GbE演进的过程中，尤其是在当下，交换网络的带宽能力和Intel至强处理器之间的处理能力差距逐渐拉大。

阿里云技术团队通过专用芯片来解决上述问题。基于神龙架构的裸金属服务器，其架构与传统KVM完全不同，对云原生浪潮下容器等产品适配程度极高。从具体技术特征维度来看，神龙有以下特点：

• 存储和网络VMM以及ECS管控，和计算虚拟化分离部署；

• 计算虚拟化进一步演化至NearMetal Hypervisor；

• 存储和网络VMM通过芯片定制IP业务加速；

• 并池支持弹性裸金属（支持安全容器）和ECS虚拟机生产。

双11：神龙+容器+Kubernetes

2019 年阿里巴巴双11 系统以云原生的方式上云，基于神龙服务器、轻量级云原生容器以及兼容 Kubernetes 的调度的新的 ASI（alibaba serverless infra.）调度平台。其中 KubernetesPod 容器运行时与神龙裸金属完美融合，Pod 容器作为业务的交付切面，运行在神龙实例上。

下面是 Pod 运行在神龙上的形态：

• ASI Pod 运行在神龙裸金属节点上，将网络虚拟化和存储虚拟化 offload 到独立硬件节点 MOC 卡上，并采用 FPGA 芯片加速技术，存储与网络性能均超过普通物理机和 ECS；MOC 有独立的操作系统与内核，可为 AVS（网络处理）与 TDC（存储处理）分批独立的 CPU 核；

• ASI Pod 由 Main 容器（业务主容器），运维容器（star-agent side-car 容器）和其它辅助容器（例如某应用的 Local 缓存容器）构成。Pod 内通过 Pause 容器共享网络命名空间，UTS 命名空间和 PID 命名空间（ASI关闭了 PID 命名空间的共享）；

• Pod 的 Main 容器和运维容器共享数据卷，并通过 PVC 声明云盘，将数据卷挂载到对应的云盘挂载点上。在 ASI 的存储架构下，每一个 Pod 都有一块独立的云盘空间，可支持读写隔离和限制磁盘大小；

• ASI Pod 通过 Pause 容器直通MOC 卡上的 ENI 弹性网卡；

• ASI Pod 无论内部有多少容器，对外只占用独立的资源，例如 16C（CPU）/60G（内存）/60G（磁盘）。

对于神龙创新性产品，团队一直在努力改进和优化它的相关方案，以提高运维的效率和机器本身的可靠性。这个是多方努力的结果，也是持续改进的结果，未来团队继续努力，不断追求极致的性能与稳定性。

更多「问底中国IT技术演进」专题精彩文章：

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

你点的每个“在看”，我都认真当成了喜欢