集团企业混合多云平台架构设计

Posted 2021-06-05 知行企业数字化

    企业云平台的规划、设计要与企业的实际情况紧密结合，这包括企业的整体战略规划、业务发展方向、业务类型及属性、业务规模、信息系统类型、数量及详细信息、信息系统架构等，相关因素具体如下：

    （1）企业的整体战略规划中是否包含了信息化规划和企业数字化转型的内容。“战略指导战术”，企业云平台的建设需要顶层设计的支持，否则阻力重重，即战略规划决定着企业云平台是否要建设。

    （2）企业业务发展方向决定着企业云平台的建设类型，特别对于从线下业务转移到线上（私有云到公有云）、国内业务拓展海外（海外公有云）等情况，可能需要信息系统和公有云的国际化支持。

    （3）对业务及业务系统进行分析，是建设云平台的前提工作之一。以某中大型企业为例（比较典型），从公司的组织架构和业务规划来看，业务系统主要分为生产运行类系统、市场营销类系统、办公业务类系统及其他，大类之下又细分了业务线，如市场营销类系统分销售业务线、客户服务业务线等。基于业务系统大类之下，有基础技术平台（或中台）对上层业务进行技术支撑。从系统特性及属性方面看，生产运行类、办公业务类以及技术中台部分多属于对内业务，属于典型的私有云应用场景，市场营销类系统多面向互联网公众，属于典型的公有云场景，同时市场营销的产品来源生产运行类系统，故二者联系较为密切，需要构筑混合云链接私有云与公有云。

    （4）业务规模、信息系统及数据的规模和数量影响企业云平台的建设规模及类型，对于业务规模比较小、但是快速发展的企业建议实施公有云，借助有公有云的资源和服务支撑快速发展的业务和快速转变的业务；对于相对变化不太大的业务或是系统，建议保留现状或是以私有云为主，可以建立云上备份。

    （5）传统的单体应用架构跟微服务的架构，对企业实施云服务的速度和质量有较大的影响。基于微服务的Devops以实现快速的持续交付为目的，适合业务的快速增长和变化，同时也是云原生的技术主题之一。

    综上，企业云平台的建设需要契合公司的战略规划、业务方向，与业务实际和系统明细紧密结合，在顶层设计的大力支持和强力推动下开展设计、实施、运维和运营工作。另外为争取顶层设计的支持，还需要进行详尽的云平台效益分析、系统和数据梳理、建设计划等各方面准备内容。

    从项目建设的维度来看，云平台的建设大致包括需求和技术调研、项目立项、规划和设计、采购和实施、迁移、运维及运营等几个阶段。

    接下来，以某集团企业的混合多云平台为例，详细介绍企业云平台的架构、设计、实施、运维及运营等相关内容。在介绍之前，先说明一下云平台建设过程中，除获取顶层战略支持工作项以外，还有几个其他的前提工作。

    （1）业务和系统的梳理，这个不只是云平台建设工作的难点也是信息化建设中的重要难点之一，同时也是企业建立数据平台（或中台）的前提工作之一。围绕这一块，经常提及的专题是CMDB，我有一篇文章是关于这方面的，可以参考：漫谈基础运维数据。以某企业Excel版本的CMDB信息为例，模板可参考如下：

    另外从云迁移的角度梳理业务和信息系统，可以参考如下模板，该模板经过迁移实战检验，具有一定的参考性。

（2）暂无。

一、云平台的整体架构及设计

    从企业信息化建设和数字化转型的全过程来看，云平台可以理解为底层基础架构，为信息化建设和数字化转型提供基础能力支撑，这包括属于基础设施资源的计算、存储、网络和安全等，以及公共服务组件等其他云服务等。从企业的整体架构规划设计来看，大致如下图：

    特别注意的DBaaS和CaaS的建立。对于企业来说，数据库的重要性不言而喻，涉及数据库的高可用部署、数据库备份、数据库监控、性能优化、SQL语句审核以及日常管理维护等都是数据库日常工作的内容之一，且不同的信息系统、不同的分子企业具有共通性，适合搭建基于异构数据库的DBaaS平台，统一纳管所有数据库，降低数据库专业技术的复杂度，为技术人员提供简易操作的数据库服务，同时可以基于此平台，进一步结合数据平台、数据中台的建设及实施，演化为“数据即服务”的“大”数据生态系统。

    随着信息系统微服务的开展，系统和应用的数量直线上升，传统的更新发布完全匹配不上应用的交付速度，基于Jenkins工具链（Jenkins+git/svn+sonarqube+jmeter+Docker+k8s等）的持续交付平台应需而生。微服务应用天然适合容器进行部署和发布，特别对有弹性扩展、多个服务编排、快速迭代等需求的，基于容器的CaaS平台与DevOPS平台相结合可以很好的满足微服务架构及快速变化的业务需求。这一部分也是云原生的主题内容之一。

    转到企业云平台的架构设计方面，比较典型的集团企业混合云平台由下到上可以分为基础资源层、云计算层、云服务层以及用户层等。

    （1）基础资源层。该层为云平台的基础，主要对数据中心机房、物理设备以及各类公有云和行业云的资源进行统一的整合、调配，形成计算资源池、存储资源池、网络资源池和安全资源池等。池内资源分类别、分级别标识，如计算资源池内有x86、不同型号的cpu、以及基于计算资源虚拟化的vmware、kvm、xen等多种选择；存储资源池基于不同技术方案（自己搭建会有这种情况，如ceph、glusterfs等）提供ssd、高速磁盘、日志盘、归档盘等不同类型的存储资源。

    （2）池化的基础资源作为OS层面的载体，在上搭建云计算层，主要提供PaaS、IaaS和SaaS服务。PaaS服务主要分两大部分，一类是基于Jenkins的持续交付平台；另一类是面向开发的jdk、Tomcat、mq消息队列、数据库等服务。IaaS主要是围绕计算、存储、网络和安全进行资源层面的申请、部署、管理和维护。SaaS服务主要围绕集团企业的业务属性提供非部署式的租户服务，旨在整合和共享集团的资源，可以有效地降低成本，同时提高数据的汇聚，便于数据分析。可以发展建设为SaaS应用的大致有：①OA、HR、财务系统、资产管理等系统；②日志管理、任务管理、配置中心等服务；③数据平台和数据分析服务；⑤SLB、LB等反向代理服务以及静态资源服务等。这几类服务可以对系统进行改造，或是管理维度制定标准流程，由用户管理升级为租户管理，对外提供服务。

    （3）用户及云服务。云平台在设计之初，应该对平台的受众进行分析，一般包括外部用户/租户（平台用户和平台租户，一般不支持二级租户）和内部用户/租户（研发、运维、运营者等），在云安全一章节，对云平台的参与者有详细的介绍，这里不再赘述。通过统一的云管理平台作为前台页面，为用户提供服务管理、运营管理、运维管理、用户管理等四大云服务。其中服务管理是重点，特别是服务目录的设计和建设；运营管理侧重于围绕客户及营收的管理，包括客户管理、合同管理、、价格管理、计费统计、运营大屏等内容；运维管理主要指站在运维的角度，为云平台的运维和云平台的客户提供运维基础数据管理、自助自动化运维、监控、灾备等服务；用户权限管理是整个云平台的入口，负责平台的用户及权限管理。

    各个层次的设计都有成熟的开源解决方案和比较完善的商业解决方案，这取决于企业自身的技术实力、云平台的投入成本以及云平台的建设周期等。就虚拟化层面的可选择性有vmware、hyper-v等成熟的商业产品，也有kvm、xen等使用较广的开源产品，很多时候，底层虚拟化技术的选择会导致云平台建设的方向，但是我们要竭力避免这种情况，可以从投入成本的角度出发，采用组合的方式避免商业绑定（选择vmware的虚拟化，相应的存储产品vsan、网络产品nsx以及云平台vcloud等）。就个人经验及大多数企业的实际情况看来，建议对稳定性要求较高的系统及数据库选择vmware部署，对于应用服务或是非核心系统，采用kvm或是容器化运行，二者相结合加上容器组成云平台的基础计算框架。在存储方面，常用的解决方案是ceph，其次是glusterfs，相对比较成熟问题，选择stable版本，基本没有大问题，同时存储的设计需要分级，如全闪盘、高速盘和用于归档的普通盘等，针对不同级别的服务制定不同的价格策略，让用户按需申请。网络方面应该是云平台架构设计和建设中最负责的部分，同时从个人经验来看，该部分原则上建议选用成熟的商业产品和服务，特别是用于打通云下、云上的场景，常用的有阿里云的企业云网产品等。云安全方面相比传统安全侧重于将安全产品设备和安全服务与云平台高度融合，在保护整个平台安全的同时，可以细粒度的为用户即需即供的云安全服务，同时借助于1+1>2的策略，抵抗大流量的攻击等。

    私有云的建设大多依托自建数据中心或租用，而公有云方面多为直接申请大厂的云服务，在网络方面建议通过大二层（依托网络产品）的方式串联多个数据中心和云中心资源池，实现线下、线上的互联互通，为上层云管平台的设计和实施提供底层基础保障，即实现异地或云上灾备，又可以实现云上云下资源互补，为弹性扩展提供更进一步的支持。对于云管平台方面，有较为成熟的商业产品（如飞致云、骞云、嘉为蓝鲸等企业的产品），暂未发现不错的开源产品（如CODO，需要进一步开发和完善）。云管平台方面如有技术实力，可以自己搭建，可以更好的符合自身的业务需求。

二、云平台服务设计

    最后在谈一下服务设计的内容，主要指服务目录，其是云平台基础架构部署实施完成之后的云运营阶段的主要任务，通过对服务内容进行整合形成服务目录以供用户使用，实现用户层面的自助服务。以某集团企业的云服务目录为例，大致有如下整理：

    主要包括账户管理、资源管理、交付中心、运维服务、运营服务、应用中心等几个模块。

    （1）账户管理方面包括账户申请、权限管理以及角色管理等，参与云平台的角色大致有IDC、原厂、供应商、监管单位、审计单位、云平台的运营者以及租户和用户等，其中云平台运营者上接IDC、厂商、监管等单位，负责整个平台的建设、运营及运维等，为租户和用户提供服务，每个分子公司或分支机构可以申请租户或是用户以使用平台服务。

    （2）资源管理主要包括区域管理、计算资源、存储资源、网络及安全资源以及公有云、容器云和桌面云。参考公有云的设计架构，区域管理有AZ可用区、region之分，region同时又细分了生产域、开发测试域以及灾备域等，不同的区域，存储和网络的架构不完全一样。计算资源主要提供虚拟主机、容器、物理机以及桌面云的服务，存储资源提供文件存储、块存储、对象存储以及特别的备份存储和视频存储等。网络和安全资源包括vpc、网络组、vpn、云waf、堡垒机等安全云服务，同时按照安全类型、主机内容以及系统组件等建立计算模型输出安全指数建议等服务。

    （3）交付中心主要包括资源交付和应用交付两大类。资源交付侧重于虚拟机、数据库等方面的自助申请、自动部署及交付；应用交付包括代码管理、交付管理、交付流程以及应用编排等内容。通过交付中心将用户的代码、中间件、数据等统一托管，依托自动/自助交付平台实现快速交付。

对于操作系统及中间件的自动交付，有如下常见服务内容：

	Windows2008r2	Windows2012r2	Windows2016r2	Centos6	Centos7	Centos8
nginx-1.18.0.tar.gz					√
nginx-1.18.0.zip		√
haproxy-2.2.2.tar.gz					√
tengine-2.3.2.tar					√
httpd-2.4.46.tar.gz					√
Fastdfs				√	√
jdk-7u80-linux-x64.tar.gz					√
jdk-8u20-linux-x64.tar.gz					√
OpenJDK8U-jdk_x64_linux_hotspot_8u265b01.tar.gz					√
OpenJDK8U-jdk_x64_windows_hotspot_8u265b01.msi		√
OpenJDK11U-jdk_x64_linux_hotspot_11.0.8_10.tar.gz					√
OpenJDK11U-jdk_x86-32_windows_hotspot_11.0.8_10.zip		√
apache-tomcat-7.0.81.tar.gz					√
apache-tomcat-8.5.15.tar.gz					√
mysql-5.6.47-winx64.zip		√
mysql-5.6.49-linux-glibc2.12-x86_64.tar.gz					√
mysql-5.7.31-linux-glibc2.12-x86_64.tar.gz					√
mysql-5.7.31-winx64.zip		√
mariadb-10.1.8.tar.gz
mariadb-10.2.8.tar.gz					√
p13390677_112040_Linux-x86-64_1of7.zip					√
p13390677_112040_Linux-x86-64_2of7.zip					√
p13390677_112040_Linux-x86-64_3of7.zip					√
p13390677_112040_Linux-x86-64_4of7.zip					√
SqlServer2012		√
apache-activemq-5.13.2-bin.tar.gz					√
apache-activemq-5.16.0-bin.zip		√
rabbitmq-server-3.3.5.tar.gz					√

（4）运维服务借鉴itil管理模式，通过服务台的方式对接用户的事件、问题及工单，为用户提供专业的在线支持服务，同时提供云监控、云备份、容量管理、性能管理、资产管理以及日志管理等运维相关内容，为租户或用户提供全产业链的运维服务。

（5）运营服务主要侧重于合同、营收相关，包括工单管理、账单管理、合同管理、sla管理（服务运行时间、故障发生率、故障修复时间、问题响应时间、问题解决时间、故障次数、业务需求数、流程配合度、应急预案）、数据管理、计费管理以及开发的api服务等。

（6）应用中心方面主要围绕应用这一核心提供相关服务，包括应用所需要的中间件（数据库、消息队列、缓存服务、负载均衡服务、CAS、DNS、静态资源、任务调度、配置中心、工作引擎等）、公共服务（时间服务、api服务）等。同时根据企业的特点，推出秒杀组合、数据平台、cms内容管理、在线视频等完成的架构及服务以及微服务基础组件；在企业日常办公方面提供视频会议、在线培训、下载中心、项目管理平台、开发云平台等内容。

    最后，企业云平台的架构设计整体上要立足业务实际及发展规划，采用可扩展、分布式的架构，在建设过程中合理运用各类原厂、供应商以及咨询机构的各种资源，凭借云平台的实施建设，理顺企业信息化建设的运维难题和各类流程标准问题，为应用提供安全、稳定、高效的支撑环境，以配合企业业务的快速发展，从而强有力的支撑企业数字化的成功转型。