对话招商基金支撑微服务快速落地！分布式存储晋升业务发展的强力“助推器”

Posted 2021-04-02 深信服科技

业务快速发展，

IT更要跑在前头，

必须不能成为掣肘业务发展的“落后兵”。

 

如上，

招商基金在IT规划上

一直朝着快速响应、敏捷化、智能化发展，

为业务创新与发展时刻准备着。

 

本次，

就让我们一起来解读

招商基金存储建设的新思路、新策略。

看招商基金如何通过存储布局，

有效支撑DevOps、容器、微服务等新技术的落地，

助推业务快速发展。

Q

招商基金近些年业务发展很快，IT规划的核心思路是什么？

招商基金：近几年我司业务发展比较迅速，所以在配套的IT规划方面，也一直都是以业务需求为根本驱动力。为了保障新业务需求的快速上线以及符合目前主流的技术演进方向，IT规划与建设不断朝着平台化、自动化、智能化的方向发展。

Q

在整体的IT规划中，已经落地的举措有哪些？

招商基金：目前，我司在IaaS层（玄武平台），建设了标准的计算、存储和备份资源池，并定义了资源服务目录及统一接口，实现了由小机、X86物理服务器为主到以虚拟化为主的标准化云资源池的转型，并且在某些生产业务场景下引入了更加轻量化的容器。我司在PaaS层（朱雀平台）利用“玄武”平台提供的API接口，实现批量标准化资源的快速创建以及相关信息回写CMDB（配置管理数据库），直接免除大量人工维护操作；同时建设了DevOps自动化流水线，实现了开发、测试和生产的全流程打通，还计划加入安全节点；并且实现了各种主流中间件自动化安装以及生产业务系统的部分微服务化改造。

Q

存储是IT架构最基础的部分，在DevOps、微服务化、容器等新技术的落地过程中，面临哪些挑战？

招商基金：总体上来说，新业务、新技术的发展使得存储面临两个变化：一是数据类型比以前更加丰富了，由以结构化为主的数据向以大量快速增长的非结构化数据等多类型数据混合转变；二是为了能够快速响应业务需求，PaaS层和IaaS层的能力也需要变得更加的弹性灵活。这就导致存储在多类型数据混合存储、扩展性、易用性等方面面临挑战。

Q

具体表现在哪些地方呢？

招商基金：比如，

• 多类型数据混合存储带来海量小文件存储性能问题：尤其是生产系统，产生海量KB级的文档、图片，存储在服务器上，并且通过NAS对外提供服务。这种情况下，由于NAS文件系统在数据索引组织上的复杂性以及海量数据和元数据绑定，就导致NAS存储在扩展性和检索速度方面很容易就达到了瓶颈，时延越来越高，并且达到一定量级后，性能呈现断涯式衰减，数据读取越来越慢，业务人员体验急剧下降。
  

• NAS存储需要与服务器主机进行挂载，这种紧耦合的方式带来几个问题：

  一方面无法很好地支撑基于容器的微服务化落地： 容器由于其销毁和重建的概率远大于虚拟机。如果有持久化需求，并且保障容器能在任何一台宿主机上可运行，那么对传统的NAS挂载方式而言，就需要在每台宿主机创建相应的挂载点，工作量大并且不够友好。
  另一方面是稳定性不足： 这种挂载是一种长连接的网络通信方式，因此容易受到网络不稳定的影响，如连接断开、应用无法存储数据，需要管理员手动重新挂载，业务连续性受到较大影响；同时无法解决服务端与客户端的数据双向污染问题，以及无法对网络流量进行限制，从而影响系统稳定性。

  最后是管理的复杂性：NAS存储与服务器主机的挂载关系复杂，犹如蜘蛛网，只能由管理员手工记录或者使用CMDB进行记录，但是也无法清晰确认服务状态是否正常，维护十分麻烦。
  

Q

面对这些挑战，招商基金是如何应对的？

招商基金：考虑到不同业务对存储需求不同，我们通过深信服分布式存储EDS，基于软件定义，建设了可以同时支撑块、文件、对象的IaaS存储资源池，实现对结构化数据、非结构化数据的统一承载，解决了NAS存储带来的一系列不足：

• 分布式架构、分布式数据库，解决了海量小文件导致的存储性能下降的问题：一是分布式架构可以按节点进行容量性能线性扩展，并且每个节点都可以对外提供存储系统的访问服务，本身就具备了高性能的保障。二是不同于NAS存储文件系统将数据与元数据绑定，深信服EDS创新研发分布式数据库PhxKV来独立承载元数据，解决了海量小文件导致的存储性能下降的问题。
  

• 存储与服务器主机无需挂载，实现计算和存储解耦，更灵活、更稳定、更好用：

  一是支撑业务系统更快地向微服务化转变： EDS支持应用系统基于HTTP协议的S3接口访问存储系统，存储与服务器主机无需挂载，实现应用层无状态化。无论是X86服务器、虚拟机，还是容器，无论是Windows、linux，还是K8S，应用程序在任何平台运行都可以通过统一的语言调用标准的SDK接口完成存储系统的访问，有效地支撑基于容器的微服务化落地。
  二是提升了存储访问的稳定性： 对象存储访问接口基于HTTP短连接协议，使用的时候不需要提前挂载，数据请求完毕后就释放连接，并且可以进行针对用户的流量限制，提升了系统的稳定性。

  三是极大降低运维管理复杂性：EDS实现了计算和存储的完全解耦，应用访问存储的方式极为简单，通过域名即可，甚至不需要知道存储的具体位置，是否在同一个数据中心。对管理员来说，由于高可用的部署模式以及应用层的访问方式，存储的扩容、升级、老旧设备替换等一系列的运维工作，都可以在用户没有感知的情况下完成。
  

Q

对象存储相比NAS存储有诸多优点，但当业务系统对接对象存储接口时存在一定的改造成本，招商基金是怎么解决的？

招商基金：我司的应用系统分为两类：自研的应用系统和外采的商业软件。目前对于自研的新应用系统，均要求对接S3接口，并把非结构化数据存储到对象存储，同时存量的自研应用系统也在逐步改造对接。另外，商业软件接口改造难度较大，因此，我们通过引入中间件的方案，解决了商业软件无法对接对象存储接口的问题。该方案支持应用软件在不改造接口的条件下，在本机继续使用文件系统接口读写数据，中间件自动将数据同步至对象存储，极大地降低了改造难度与成本，提升了应用系统的数据访问体验。

Q

对今后的存储建设有什么新思考？

招商基金：金融业务对稳定性要求非常高，存储作为IT的基石，在确保稳定可靠的条件下，我们将进一步通过分布式软件定义存储，推进存储资源的池化、服务化、自动化，让存储能够更好地适应上层架构的快速变化，更好地响应与匹配不同业务场景的多样化需求，实现IT敏捷驱动业务敏捷。

金融创新要保持高度的业务敏捷性，就要求IT基础设施以及应用程序必须具备良好的敏捷应对和运行能力。深信服企业级分布式存储EDS构建的非结构化数据存储平台，基于软件定义、分布式架构和数据库，以及统一的云资源池，助力招商基金更好地推动DevOps、容器、微服务等新的技术应用落地，支撑业务稳健与快速发展。

※本文采访嘉宾：招商基金信息技术部技术专家 王洋

深信服企业级分布式存储EDS，具备可靠、高性能、智能管理三大核心优势，最小3节点即可同时支持块、文件和对象三种类型存储，一个数据中心一套存储即可满足主机虚拟化、数据库、非结构化数据等多种不同的存储需求。通过软件定义最大化激发硬件潜能，大幅降低用户的TCO总体拥有成本。自2013年研发至今，已服务珠海公安、青岛市市北区法院、中国地震第二监测局、招商基金等数千家用户。

往期回顾

第8期丨

第7期丨

第6期丨

第4期丨

第3期丨

第2期丨

第1期丨