实战 | 银行间市场分布式架构转型实践与探索

Posted 2021-06-15 金融电子化

欢迎金融科技工作者积极投稿！

投稿邮箱：[e-mail]

                                           ——金融电子化

中汇信息技术（上海）有限公司总经理  姜才康

为顺应信息技术的飞速变革及金融机构数字化水平的不断提高，满足金融服务系统所面临架构弹性扩展、性能稳步提升、数据安全可靠等高要求，将传统集中式系统架构升级为分布式架构已成为趋势。根据人民银行行领导有关“金融机构要加快推进分布式架构转型，增强市场需求快速响应的能力。”的要求，中汇信息技术（上海）有限公司结合市场特性，掌握核心科技，聚焦分布式架构技术体系中的痛点难点，自主研发建设了分布式服务平台，助推银行间市场金融系统的分布式架构转型升级。

瞄准发力点，创新技术架构

在银行间市场规模井喷、交易品种日渐丰富、市场参与者类型多元的背景下，金融交易呈现请求并发高、迭代频次多、数据流量大的新特征，传统的集中式金融服务系统存在“牵一发而动全身”的痛点，已无法满足业务快速发展的需求。近几年，随着金融服务互联网化的发展趋势，分布式架构所具有的优势越来越受到金融业的青睐。众多金融机构结合自身需求，选择特定领域纷纷发力，既有“核心集中式+外围分布式”的稳中求进，也有分布式存储和分布式计算等相关技术的局部尝试与突破。而银行间市场作为金融市场的重要分支，必须牢牢把握破旧立新的契机，走出适合自身特性的分布式转型道路。

中汇信息技术（上海）有限公司（以下简称“中汇公司”）作为中国外汇交易中心下属全资科技子公司，是交易中心信息系统建设以及银行间市场基础设施建设的主力军，致力于科技赋能驱动业务发展、数字转型提升服务效率。为了加快银行间市场分布式架构转型，增强市场需求快速响应能力，中汇公司技术团队全面调研金融业分布式架构技术体系，并针对交易中心应用场景进行裁剪，归纳分布式架构核心发力点，包含分布式数据库、分布式服务框架、分布式应用框架和分布式运维监控等。同时，提出“服务框架先行，应用、数据库及监控并进”的改造思路。在此背景下，中汇公司首先突破分布式服务框架，自主研发实现了超高速、超低延时分布式服务平台解决方案，既为交易中心分布式系统内循环注入强效动力，又为市场用户与中心各系统内外互通提供统一渠道，逐步形成自主可控、符合银行间市场IT发展规划的分布式技术体系，已成功应用于新一代本币核心交易系统和外汇衍生品市场的系统建设中，为银行间市场的技术创新走出了一条高速度、高质量、高效益的发展轨迹。

厚积薄发，开启分布式架构改造之路

近年来，银行间市场规模高速扩展，市场流动性和市场活跃度明显提升，随之而来的是基础设施的不断完善。一方面业务的协同融合要求系统互联互通；另一方面多交易主体的参与亟需应用架构的灵活扩展。中汇公司通过深入学习互联网金融企业成熟框架及新兴技术，结合银行间市场建设需求，在交易中心金融服务系统建设中提出了三大目标：一是全面转型分布式架构，提升分布式节点内循环效率，实现基础架构十万级吞吐和微秒级延时的超高性能指标，同时确保数据传输及服务调用完全可靠；二是稳抓分布式服务治理，变“多渠道分步治理”为“一站式统一治理”，以基础支撑平台为关键抓手，切实打通IT治理、系统开发和生产运行等各个环节，避免服务治理成为“纸上谈兵”；三是统筹中心服务系统和会员业务系统发展，建成网络互联、系统互通、数据共享、业务协同的银行间市场金融交易网络。

为了实现上述三个目标，分布式服务平台（Distributed Service Platform，简称DSP平台）应运而生，通过引入可靠UDP组播、链路跟踪、服务自发现等关键技术，实现高速数据传输、服务调度、服务治理、监控分析、多标准协议接入、统一网关等核心功能,是交易系统及相关业务系统的分布式架构技术支撑。DSP平台架构设计具有极强的新颖性、创造性和实用性，相关成果已成功申请了一项国家发明专利。交易中心系统在完成分布式架构改造后，整体分布如图所示。

图  分布式架构改造后系统分布图

提能增效，支撑分布式节点内部循环

高速数据传输是分布式架构的血脉。分布式服务平台通过高速数据传输能力，使交易系统群内运行的数据和服务调用能够高效流动，可靠性和扩展性都远远优于集中式系统，能够支撑业务系统的弹性扩展与应用服务的频繁交互。

一是可靠UDP组播提升传输效率。数据传输中，高性能和高可靠性是一对相互制约的指标，往往需要牺牲一项来提升另一项。因此研发同时满足高性能和高可靠要求的颠覆性数据传输技术成为构建金融分布式基础架构的关键所在。上世纪90年代Internet发展成熟后，具有高可靠特性的TCP协议数据传输技术成为主流。但随着金融领域性能要求不断提高，TCP技术已不能完全满足需求。UDP是另一项主流的传输层协议，传输效率优势明显，但缺少可靠传输机制。IETF（国际互联网工程任务组）曾在基础UDP协议之上发布了多项可靠实现，如PGM（RFC 3208）、RUDP（RFC 1151）等，但皆因协议复杂度高、工程难度大，未成为业界主流技术。对此，中汇公司抓住本质，攻坚克难，构建了一套完整的自主高速数据传输技术，从根本上破解了高性能和高可靠难以并存的困局。首先，从底层协议栈入手，研制可靠UDP协议，充分发挥UDP高性能特点，并补强可靠传输短板；其次，完成传输层协议的工程化，实现非侵入式数据持久化能力，打造稳定高效的“内核”；再次，设计并实现基于内存及存储的多级数据缓存和恢复算法，实现应用层高可靠特性；最后，利用UDP组播技术，提供一种将单个消息从发送方传播到多个接收方的有效方法，最大限度地减少网络拥塞，并完美解决交易过程公平性问题。相关技术成果又形成了二项国家发明专利。

二是统一接口框架降低接入复杂度。为了规范化原有分布式应用的接入方式，方便后续扩展应用程序的接入，DSP将数据订阅接口和服务调用接口进行了封装，形成统一通信框架(Unified Communication Framework，UCF)。UCF采用分层结构，一是平台能力层，提供DSP最核心的高速数据传输能力，并涵盖了多种通信方式切换配置以及协议转换，同时预留了丰富的功能扩展接口；二是应用服务层，在平台服务层之上，向应用系统提供应用层服务，如流量监控和链路分析等功能；三是公共类库层，包含一系列在应用系统开发中可复用的API接口、类库和编程规范等。同时中汇公司基于标准化软件构件开发思想，编制《银行间市场软件构件规范》和《银行间市场软件构件测评规范》。通过实施清晰的分层架构，配合规范的发布机制，使应用系统开发统一，接入DSP只有首次升级需要全面集成部署，后续升级即可通过可视化界面进行运维管理，大大提升平台的易用性。

严控质量，治理分布式应用服务调度

分布式服务是分布式架构的活细胞。分布式服务平台通过服务治理对交易数据和服务进行高质量整合和高效处理，提升数据服务价值，强化企业大数据服务能力。

一是服务注册自动发现。在分布式架构中，各应用系统的服务调度与服务治理依赖于注册中心。通过添加服务自发现机制，使消息发送方和接收方可以位于网络中的任何位置，不用更改配置，由分布式框架根据注册中心的配置属性自动发现发布者及其匹配的订阅者。

二是服务调度链路追踪。在服务性能提升的同时，复杂的分布式网络结构使得消息链路问题定位更加困难。通过收集分布式服务间调度的行为信息，包括调用链的父子关系、各服务节点上的耗时、每个服务节点的请求状态等，为分布式应用开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等功能。并通过可视化图表，帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，便于问题快速排查以及监控全系统的健康运行情况。

三是数据模型统一管控。针对交易中心应用场景的数据类型，中汇公司通过元数据管理系统实施分布式架构下的数据治理，规定了数据元的业务属性信息、技术属性信息和管理属性信息。同时通过协议自生成的方式将DSP与元数据管理系统对接，对系统内和系统间的交互进行了运行态的管控。通过对组织、标准、流程和技术进行有效协调和定义，完成对企业核心数据资产的管理，推动数据元在银行间市场各个信息系统的应用，实现各机构在编码规则、数据格式、报表结构等方面的统一，提升银行间市场的协同开发能力和数据处理能力。

统筹内外，助力全市场信息互联互通

服务网关是分布式架构的屏障。分布式服务平台通过网关功能控制系统内外交互，实现前端身份认证逻辑，简化内部服务之间相互调用的复杂度，从而灵活支撑多渠道的服务接入。

一是统一网关简化交互。DSP提供外部用户接入中心各分布式服务的统一安全入口，并进行上下游接口解耦，减少系统升级变更对市场关联应用的影响。中汇公司基于银行间市场参与者种类多的特性，提供多协议适配功能，支持包括IMIX、FIX、GPB（Google Protocol Buffer）、JSON等金融行业标准协议和业界主流标准，有利于全市场跨语言、跨平台、可扩展的数据传输。

二是数据标准规范传输。基于银行间市场数据交换协议提供的标准开发包、应用程序接口、集成开发环境，让数据标准以简单透明的方式嵌入到各类市场参与者的信息系统中，从而明显提高各机构的贯标能力和开发效率，为构建银行间市场技术生态圈打下坚实基础。

总结与展望

技术研发的价值归根结底是服务业务发展与驱动数字创新。分布式服务平台上线后，可以灵活地扩充本外币系统的服务器集群数量，目前每日处理服务调度和报文收发近2亿次，服务数量超2000种，系统容量和可扩展性得到了极大提高，实现了极低延时交易，提高了交易效率。同时基于分布式服务平台能力，积极探索和研究“两地三中心”架构的交易系统多活方案，使得交易中心数据治理、服务治理水平显著提升。

分布式服务平台源起于金融原生场景，实现了分布式架构技术中分布式服务框架基础能力，并整合了分布式监控和运维能力，有效支撑起金融分布式应用。相较于市面上众多开源及商用的通用型分布式框架，分布式服务平台更加契合金融服务应用场景，具备作为独立产品向金融行业推广的条件。

在分布式转型的道路上，中汇公司将继续砥砺奋进，目前已经立项启动了分布式数据库中间件的研发，并持续收集应用改造过程中的技术需求，进一步完善分布式服务平台易用性，提升产品成熟度。同时不断探索分布式技术与信创产业、硬件加速、异地多活、开放平台等方面的结合，夯实“金融科技”赋能金融发展的基础，有力推动银行间市场健康快速发展。

（栏目编辑：韩维蜜）

往期精选：

（点击查看精彩内容）

《金融电子化》新媒体部：主任 / 邝源  编辑 / 傅甜甜 潘婧