解读星河云 | 星河私有云OpenStack技术选型介绍

Posted 2021-04-24 星河星云

星河云观光指南

第二站  私有云技术选型

根据中国信通院《中国私有云发展调查报告（2017）》，2016年中国私有云市场规模仍保持稳定增长，市场规模达到344.8亿元，同比增长25.1%，预计到2020年市场规模将达到762.4亿。国内能源、银行、政府、大型国有企业、互联网公司等，也逐步推进对私有云的研究、测试和使用。安全性、可控性依然是国内企业选择私有云的主要因素；安全性关注度高达64%，数据安全和私密是私有云的自身优势；而之前关注度较高的可控性，则由69%大幅降为42.9%，说明在过去一年里经过研究、测试和使用，在私有云的稳定性、易管理性等方面逐渐趋于认可。同时国内对于云计算的规范也逐步完善，也起到一定促进作用。

而私有云资源管理平台中，OpenStack作为全球发展最快和最成功的开源项目之一，7年来有积累了全球187个国家和地区、667家支持公司、80371名社区成员合计共计2000万行代码。近期国内第二次OpenStack Days China峰会也在北京顺利召开，星河云积极参与并发表了《OpenStack助力产业互联网迈入智能未来》的主题演讲，介绍了星河集团以星河云为主导的云计算/大数据/人工智能集群在云基础设施建设情况。

   

作为一家创业公司，星河云从一开始就选择OpenStack开源云计算框架作为自身私有云产品技术基础，历经一年多时间，已经将星河集团私有云从0扩容到约3000核的规模，服务创业投资、孵化器、金融服务、大数据、人工智能、企业服务等业务，借助星河云自身云计算技术优势为集团提供安全、稳定、高性能，可持续扩容的云计算服务集群，大幅度节约了成本。星河私有云当前提供了云服务器、块存储、弹性IP、对象存储、负载均衡、VPC等产品与服务，总体架构如下图：

下面将为大家简单介绍星河私有云技术的选型。

星河私有云云平台使用当前最新的稳定版本Ocata版本，O版本虽然只有约4个月开发周期，但却有着多达157多项新功能。 在集群部署上，我们使用Kolla实现了对整个私有云集群的快速配置、部署和运维，这与之前通过源代码编译安装、二进制软件包安装、Fuel工具安装、Ansible/Chef/Puppet推送安装均有一定差异。Kolla将我们需要的所有组件都容器化，包括libvirt和ovs这种比较复杂的应用，用于部署的Docker镜像通过本地Docker Registry注册，经Kolla-Ansible推送，OpenStack的所有组件都运行在指定的服务器角色容器中。

星河私有云OpenStack由控制区域、计算存储融合区域、分布式存储区域三个区域构建；计算服务和块存储服务使用计算存储融合架构，区域之间管理和存储分别通过千兆和万兆冗余网络通信，各业务网络使用VLAN隔离技术，保证业务隔离；结合Zabbix、EFK对整个集群进行服务监控、报警、日志收集处理、监控数据展示等统一监控；使用CloudKitty做计费。

OpenStack控制区域

控制区域为云平台提供虚拟机管理、存储管理、网络管理，三物理节点HA架构提供控制区域的高可用性，控制区域部署OpenStack控制端所需组件，各个组件均提供HA的能力。使用基于虚拟路由器冗余协议（VRRP）的KeepAlived组件、七层应用层代理组件HAProxy及流行的开源数据库Mariadb Galera Cluster等技术，构建高可用负载均衡控制节点。此外具体使用计算存储融合架构，控制节点上增加部署了Ceph分布式存储系统组件Ceph_rgw和Ceph_mon。

部分容器运行图：

 

OpenStack 计算存储融合区域

计算区域服务器使用英特尔至强Xeon E5-2660V4*2 CPU，搭配SAS、SSD磁盘服务器组建计算存储融合服务集群优化后的3副本块存储Ceph分布式文件系统集群提供了99.9999%的数据可用性。使用OVS为虚拟机提供虚拟交换机，可实现Flat、GRE、VXLAN、VLAN等多种网络需求。底层使用KVM虚拟化Hypervisor，Libvirtd作为虚拟化管理API层，为上层OpenStack Nova-compute提供控制接入层。Nova-compute对集群节点进行计算资源管理，Neutron-ovs-agent对集群节点网络进行管理，Ceilometer-compute-agent则负责数据采集，为计费和监控提供数据。Zabbix-agent负责监控数据采集。通过划分Region和Availability Zone，平台可以实现多区域以及多资源池的管理，解决规模扩展和性能瓶颈的问题。

部分容器运行图：

 

OpenStack 分布式存储区域

区别于计算存储融合区域中的块存储Ceph集群，我们还为数据量众多、IO频繁的计量和计费等集群数据、虚拟机快照、文件备份及对象存储服务，提供了可供大容量存储的独立Ceph集群。为了提高性能，通过使用SSD作为Ceph集群的Journal（日志）和Caching（缓存）存储介质，优化了整个集群的性能，提高了顺序读、随机写等各项指标；存储集群网络使用10Gb/s万兆冗余存储网络，如下图所示：

• 管理网络: 管理Ceph集群服务的网络，1Gb冗余网络；

  
  

• Ceph public网络: OpenStack及VM访问Ceph集群的数据网络，10Gb冗余网络；

  
  

• Ceph cluster网络: Ceph集群内进程数据东西向通信的网络，10Gb网络。

部分容器运行图：

 

监控、报警、日志收集及可视化

我们搭建了Gnocchi+Grafana集群数据展示平台、Zabbix+Grafana监控报警系统和EFK日志分析平台，帮助我们实现服务监控、报警和日志收集、监控数据展示。对集群整体状态，各组件运行状态，Ceph集群状态，计算、存储、网络等平台资源剩余量等信息的监控，采用灵活的通知机制，可以快速定位/解决存在的各种问题，也可针对一些具体需求，进行自定义监控，保证整个云平台的安全、稳定运行；开源实时日志分析EFK平台帮助我们对整个集群的系统、应用程序、安全等日志集中化收集，并定制化的检索、查询、排序、统计等，帮助我们分析软硬件使用情况、集群健康及关键数据展示。

Zabbix基于Web界面，是当前流行的企业级的开源解决方案，提供网络流量监控、服务器性能监控、集群健康监控、邮件、短信报警通知等功能；Elasticsearch开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，Restful风格接口，多数据源，自动搜索负载等；Fluentd日志收集系统，它的特点在于其各部分均是可定制化的，可以通过简单的配置，将日志收集到不同的地方；Kibana是为 ElasticSearch 提供日志分析的 Web UI工具，可使用它对日志进行高效的搜索、可视化、分析等各种操作。以下是一些监控截图，大家可以查看。

EFK由ElasticSearch、Fluentd和Kibana三个开源工具组成。EFK工作原理如下如所示：

 

其中LoggingAgent使用Fluentd，Logging Backend使用Elasticsearch和Kibana，利用Fluentd 监控并过滤集群的系统日志，将过滤后的日志内容发给全文搜索服务ElasticSearch,然后用ElasticSearch结合Kibana 进行自定义搜索Web页面展示。

集 群 计 费

我们使用CloudKitty来对各租户的资源进行灵活的计费策略配置，可实现实时消费统计、报表的功能。各组件中，Ceilometer负责收集虚拟资源的详细使用数据，充当Metering的角色。CloudKitty从Ceilometer端获取计量数据，然后根据运营人员定义好的计费规则对使用数据进行Rating，并最终为生成的Billing提供数据支撑。

• Metering：收集资源的使用数据，使用对象、使用者、使用时间、使用量等信息；

•  Rating：将资源使用数据按照预先定义好的计费策略规则转化为可计费项目并计算费用；

•  Billing：结账开票，根据指定的时间段计算用户总的资源使用费用。

     

以上，对星河私有云的技术选型进行了简单的介绍。

 

星河云IaaS产品与传统的公有云厂商的IaaS云服务差异明显，不仅考虑到单一公有云厂商存在的多网络、跨地域问题，更联合国内外优秀的公有云厂商在跨云网络连通、数据传输及数据备份迁移上做足功夫，最终形成包括公有云、私有云和混合云管理的全线IaaS云产品和服务。

星河私有云作为星河云IaaS产品的一部分，在提供安全、稳定的私有云服务的同时，也可根据企业需求提供私有云解决方案咨询、部署与实施、运维及管理等一站式私有云解决方案。

↓↓ 点击“阅读原文”，立刻开启星河云