中国移动部署全球最大OpenStack集群的实践之路

Posted 2021-04-24 CSDN

虽然OpenStack已经成为开源云计算领域的事实标准，但是对于OpenStack的质疑从来没有停止过，其中的原因是多方面的，中国移动从最初基于OpenNebula研发移动“大云”到2013年开始转而基于OpenStack，对于中国移动这样体量如此巨大的企业来说，背后有着怎样的勇气和壮士断腕的决心？

8月30日，中国移动和英特尔在苏州举行“OpenStack开源解决方案 助力电信运营商云端创新”媒体见面会，来自中国移动苏州研发中心副总经理孙少陵和英特尔的技术专家一同介绍了中国移动苏州研发中心如何借助OpenStack开源技术以及英特尔开放架构搭建敏捷调配、弹性计算、异构兼容、灵活拓展的云计算平台，以及中国移动迈向总规模超过一万两千节点全球最大的OpenStack商用实践案例。

中国移动苏州研发中心副总经理 孙少陵

中国移动苏州研发中心作为中国移动的一级子公司，自2014年2月开始筹备至今，到现在已经具有超过700人的团队规模，致力于成为国内一流、世界领先的IT服务商。其主要的研发方向聚焦云计算、大数据、IT支撑系统，并且按照集团公司的要求，苏研积极锻造自主开发能力，积累自身优势产品帮助公司战略转型。

中国移动云计算产品布局

注：本图节选自中国移动云计算产品部技术总监刘军卫在CCTC上的演讲。

中国移动“大云”的技术架构演进

中国移动实际上在云计算领域的起步非常早，可以说，中国移动是中国云计算产业早期的拓荒者之一，中国移动从2007年开始做云计算相关平台的研究工作，实际上当时还没有云计算的名词，当时称为“大规模定制计算”，但是中国移动已经意识到运营商集中式的几种单机架构未来很难适应产业的数字化转型，IT软硬件一体化未来必然会被开放平台和软件定义方式取代，所以中国移动在2007年开始就在北京研究院搭建产品平台，开始做云计算方面的相关研发工作。

中国移动真正开始IaaS的研发工作开始于2009年，当时比对了业界比较主流的几个开源项目，最开始用的是OpenNebula，对OpenNebula的开发历时两年，有1.0、2.0两个版本，到了2013年，中国移动内部发现OpenStack成长非常迅速，并且已经变成形成了很好的产业环境，这个产业环境里不仅仅是OpenStack自己的一些开源产品、开源项目，同时它通过这种开放性给整个产业带来了很多商业机会。这对运营商来说非常具有吸引力的。因为大运营商喜欢标准化的产品，其实运营商存在的基础就是标准化、开放化。如果没有标准的话，网络之间的互联互通是不可想象的。经过中国移动内部技术团队的谨慎评估之后，采用OpenStack做BigCloud 3.0版本的开发，并且在2014和2015年分别发布了3.0和 4.0两个版本。目前，中国移动基于OpenStack Kilo版本的BigCloud 4.0的版本，已经有非常大规模的应用，目前整个部署规模超过了4000个应用。

其实，这个过程对于中国移动来说非常艰难。因为在2010、2011年的时候，中国移动在OpenNebula的贡献度已经全球最多，并且已经成为OpenNebula的标杆，投入了大量的技术研发，所以这个转变是很艰难的过程，但是，因为中国对于OpenStack的发展趋势的预判成为选择加入OpenStack阵营的直接驱动力。

中国移动打造全球最大OpenStack集群

中国移动在OpenStack领域的大规模应用可以说是后来居上，比如中国移动公有云-移动云，充分借鉴了OpenStack优秀基因，一开始就把整个网络搭建在SDN的基础之上。到现在为止，中国移动已经构造了最大的OpenStack商业实践，单机群超过了1000节点。目前上线的两个集群，分别位于北京和广州，一共2000节点。到2016年，会在全国其他的地区再部署4000台服务器，到2016年底，预计中国移动公有云会超过6000节点，这实际上在全球的OpenStack应用案例当中算是规模比较大的。

此外，由于历史的原因，中国移动OpenStack的集群和原来在OpenNebula的集群，两个异构的集群要统一管理，因为毕竟原来有超过1000台服务器是跑在OpenNebula基础之上；第二，下层有很多的虚拟化解决方案，比如有KVM、VMware等，这些也需要能够进行统一管理。对于原生的OpenStack来说，移动内部需要进行大量的应用开发和测试的工作，可以说，在这个领域移动积累了大量经验，也突破了诸多困难。

目前，中国移动私有云的定位是承载中国移动未来全部的IT支撑系统和内部业务系统，作为全球规模最大的电信运营商，中国移动的IT支撑系统非常复杂。例如IT支撑系统中的计费系统，同时还有中国移动的网络运维系统，包括所有的基站设备、传输网设备、转换网设备，另外还有内部的运维系统、ERP等，所有这些系统在未来都会承载在私有云平台之上。当然，随着通信网络向NFV的方向发展，未来承载在私有云上的也会有通信网网元组件和交换机系统，综合来看，中国移动的私有云应该是全球业务最复杂、对于系统的可靠性、安全性要求最高，也是规模最大的私有云系统之一。

中国移动公有云和私有云目前采用的解决方案都是基于OpenStack。对于私有云的建设分为两个阶段，预计建成两大数据中心，一个位于哈尔滨，一个呼和浩特，这两个数据中心都超过了3000节点，一共6000个节点。

整个私有云不仅要支持虚拟化的资源，同时要向用户分配物理机，能够灵活管理物理机。所以利用Ironic技术，需要管理4500台裸机，这是目前该技术最大的商用案例。同时，需要用Manila去对接中国移动的文件系统，规模超过数百个节点。在整个私有云当中还要提供弹性伸缩的能力，所以中国移动使用了OpenStack的senlin系统，目前通过内部测试，可以管理数千台虚拟机。此外，中国移动的私有云也是搭建在SDN之上，但是因为它要管理物理机，也要管理虚拟机，所以这个SDN实际上是一个软硬混合的解决方案，这在全球也是没有先例的，从SDN的“运营规模”上来说，整个系统建成以后会超过12000个节点。

中国移动的外部合作和对于开源社区的贡献

在对OpenStack一路探索过程中，英特尔作为中国移动很重要的一个伙伴，实际上双方联合做了很多的开发工作，据英特尔技术专家介绍，和中国移动的合作主要是因为双方对于开源领域的一致认同，以及双方在OpenStack领域的技术实力，此外，英特尔和中国移动的合作主要聚焦“大规模部署实践”。同时，英特尔作为一家提供底层硬件和上游社区代码的公司，从他们和国内众多公司合作的现状来看，OpenStack在中国的发展比在全球任何地方的发展都要好。虽然OpenStack来源于美国，他们应用的比较广泛，但是目前在中国强调自主创新的大潮下，无论是大公司、小公司、创业公司，还有大到央企、国企、地方政府、省级政府、市级政府各种各样OpenStack的案例，这种案例一方面体现了OpenStack的成熟，另一方面，英特尔也期待中国移动这样的客户和应用案例能够成为国际社区开源的整合力量，共同推动全球云计算研发的发展和成熟。

当然，中国移动在OpenStack领域不仅仅是使用者、受益者，同时也是积极贡献者。中国移动苏州研发中心在整个应用实践的过程当中，不断地把好的经验反馈给社区，现在排名全球第34位，在奥斯丁和巴塞罗那OpenStack分会场中国移动都做了很多的分享。同时，在国内开源领域中国移动也积极地参与，目前是中国开源云联盟的副理事长单位。

值得一提的是，中国移动在OpenStack大规模系统测试方面，取得了非常重要的成果。在北京1000个节点部署完以后，中国移动做了一系列测试。整个1000个节点有650个计算节点，25个控制节点、25个网络结点，250个存储节点。其实主要是测试OpenStack到底能做到多好。这里有两个案例：第一，2000个并发创建虚机测试Nova性能到底能达到一个什么样的水平，最开始，原生的系统部署上以后测试结果不理想，成功率只有58.4%，这在电信级系统上是不可想象的。中国移动和英特尔一起做了大量的优化工作，最后把它提升到99.9%。第二，Nova性能达标之后，测试OpenStack对外部请求的处理能力，最开始原生系统也只能达到每秒1.78个请求这样的水平，经过优化以后提升了3倍，到每秒5.49个请求。

那么，对于未来苏研对云计算到底有着什么样的规划，他们认为首先云计算要坚持一个核心的理念。中国移动作为运营商，首先就是统一化，对运营、运维一定要做到统一的管理；其次，自动化或者智能化。因为未来云计算的市场价格会不断地下降，大家在前端的服务水平、功能、性能方面会越来越接近，但实际上真正考验大家的是后台运营和运维的能力；第三，服务化；第四，层次化。对于Docker跟OpenStack到底谁是未来，他们的关系是什么？中国移动的理解是他们是分层、协同、合作的关系，而不是零和竞争的关系。

阅读原文获取相关下载：

CCTC 2016 中国移动刘军卫：中国移动OpenStack研发和实践之路