公有云中计算资源的虚拟化与容器化层次概述

Posted 2021-05-02 Cloud Native Community

写下这篇文章的起因是前段时间我尝试在k8s上部署一个测试用简单web服务器+service mesh做流量控制。查阅各种资料让我觉得线索繁杂，无意中刷到下面这张图，觉得它完美描述当时我的内心独白：

img

在k8s的世界，想要完全理解某个东西可能没有看上去那么简单。

我的思绪开始散开：如果这只不幸的小恐龙继续下沉直至物理机层面，它一路上可以看到哪些东西呢？仔细一琢磨，觉得这个问题并不简单，想要回答这个问题需要对云计算有相对整体的了解。根据公开资料，我整理出了以下一张在公有云上运行k8s的示意图，注意，这不代表任何现实中的系统设计：

img

公有云的VM上运行k8s的可能的架构，其中相同颜色的层代表类似的功能

接下来自顶向下进行简要介绍：

1.App：顾名思义是运行在容器内的业务代码。同时注意到根据业务代码的语言，其中也可能多一层JVM或python解释器之类的。2.Docker：用于承载容器的创建和运行等。考虑到容器主要是基于cgroup等命名空间进行资源隔离，docker在容器运行时实际对性能几乎没有直接影响。3.K8s：编排并管理容器及其相关资源，是目前事实上的行业标准，类似与docker对容器运行时的性能没有直接影响。4.Guest OS: 用户可见可操作的操作系统，其上运行了K8s。考虑到安全性，公有云交付给客户的一定是一个VM而不是容器，所以自然携带一个OS。这一层时刻消耗资源，但是必要且无可避免。如果有的公司采用多云架构，比如同时使用GCP，AWS，阿里云，腾讯云和自建的数据中心，那么一般会在这一层之下再构建一层相对简单的基于内网IP作为标签的管理系统。这样，1~4层的开发者只需要关心自己的内网IP，根据内网IP进行操作和冗余设计。5.Hypervisor：用于承载用户虚拟机的创建和运行等。这是一个较大的话题，早期基于软件的全虚拟化效率感人，现在KVM通过CPU硬件虚拟化大大提高了效率，已经成为了主流方式。具体可以参考CPU 和内存虚拟化^[1]。一般认为I/O操作通过这一层的代价会高一些。6.类Nova虚拟机管理系统：用户创建的一堆虚拟机不是孤零零的运行就可以，运行在公有云上的VM会面对一堆挑剔的客户需求和底层硬件故障，自然也需要一个虚拟机管理系统来进行虚拟机的创建、配置、删除、迁移、计费等等。Nova是OpenStack中的对应组件，有兴趣的话可以参考OpenStack Nova 总结^[2]。同样，这一层对实际性能几乎没有影响。7.类container / VM 实例：上面的虚拟机管理系统等相关程序自然是公司内公有云部门开发的，但是他们是不会直接运行在物理机上的。为什么呢？因为对于公有云这种复杂的巨系统，软件开发和运维都是难题，它们必然是分开的。如果直接运行在物理机上，那么软件开发将不得不直面硬件并且进行管理。同时，上面提到的“类Nova虚拟机管理系统”其实只是众多公有云程序中的一种，考虑到环境和隔离，比较合理的方式是在此处再进行一次虚拟化/容器化。考虑到这里是公司内资源相对安全可控，使用类似容器的方式进行隔离对性能和运维都好。性能的损耗根据具体实现会有变化。8.多任务资源隔离、管理系统：类似k8s或Nova，对公司内的服务进行编排和资源管理等。这取决于上一层是VM还是container。同样，这一层对实际性能几乎没有影响。9.Host OS: 运行在物理机器上的操作系统，没有特别需要说明的。10.机器资源：物理机器，包括CPU、内存等。

上面介绍的每一层都是仍在发展中的可以出很多书的大话题，第一张图漫画中的小恐龙仅仅是是下沉到了第三层的k8s已经憋不住气了。所以说学海无涯，回头是岸，面对公有云这样的复杂系统时，整体上还是应该好读书不求甚解，需要/有兴趣的时候再专注其中某一个小点吧~

引用链接

[1] CPU 和内存虚拟化: https://zhuanlan.zhihu.com/p/31895393
[2] OpenStack Nova 总结: https://blog.csdn.net/dylloveyou/article/details/80698420

关于云原生社区

云原生社区是一个有技术、有温度、有情怀的开源社区。由一群开源的狂热爱好者自发成立，秉持“共识、共治、共建、共享”的原则。社区的宗旨是：连接、中立、开源。立足中国，面向世界，企业中立，关注开源，回馈开源。

云原生社区志愿者计划

计划详情请见：。