曲家文：分布式架构应用实践及分布式技术在银行业应用趋势

Posted 2021-04-14 金融读书会

编者语：

在互联网技术迅速发展的当今时代，面对海量数据的分析需求，IT架构的选择对银行至关重要。中国人民银行副行长范一飞在“2015年度银行科技发展奖评审领导小组会议”上明确要求，银行业金融机构要高度关注分布式架构未来的发展及应用部署情况。与此同时，各银行业金融机构也在积极探索与应用分布式架构。本文介绍了邮政储蓄银行分布式架构的现状和应用实践，并对银行业分布式技术的应用趋势作出了展望。

文/曲家文（中国邮政储蓄银行副行长）

当前，在金融普惠大众，互联网业务蓬勃发展的大背景下，具备处理大规模高并发交易处理能力已成为银行业务系统的标配。基于海量数据的处理与分析需求不断增多，伴随着银行业金融机构利润空间的压缩，银行对IT成本的控制更加严格，对IT架构的选择也更加谨慎。中国人民银行副行长范一飞在“2015年度银行科技发展奖评审领导小组会议”上明确要求，银行业金融机构要高度关注分布式架构未来的发展及应用部署情况。与此同时，各银行业金融机构也在积极探索系统架构转型，将研究建立灵活、可延展性强、安全可控的分布式系统作为一项重点工作来抓。不少银行业金融机构在分布式架构的实践上也取得了实质性成果，并在逐步深入推广。分布式架构成为金融IT架构的选型方向已是大势所趋。

 

邮储银行分布式架构现状

 

中国邮政储蓄银行成立近十年来，信息化建设始终坚持走开放式平台和分布式架构的技术路线，大胆引进云计算技术，将分布式架构推进到了新的阶段。目前全行在线生产运行的180多个应用系统中，除部分涉及账务处理的应用基于小型机分布式集群构建外，超过80%的应用系统基于PC服务器集群构建；在采用分布式架构构建系统的过程中，审慎引进开源软件，包括开源的内存数据库、分布式文件管理技术、分布式数据库等，率先在业内建立了基于Hadoop和传统数据仓库混合架构的大数据平台，基于Hadoop与OLTP数据库的海量非结构化数据管理平台；在灾备体系设计上，实现了“应用双活”设计，通过双活应用和基于存储的数据复制技术，在为生产中心提供可靠灾备保护的同时，还实现了灵活的业务负载分担，为业务的发展提供了更具灵活性的部署选择；在云技术的应用上，邮储银行已建成自己的私有云平台，渠道平台、消费金融公司核心业务系统、互联网网贷系统等关键应用均已迁移到云平台，目前通过云平台的交易量超过了2700万笔/天,占全行电子渠道交易量的35%，应用规模和交易量处于同业领先水平。

 

邮储银行分布式架构应用实践

 

构建大型银行核心系统是商业银行信息化的重点。业界在技术路线的选择上基本可归纳为两类，一类是采用大型主机、集中式架构。这种架构的优点在于成熟可靠，银行开发人员不用过多地关注底层技术，只需要专注于应用开发即可，主要缺点一是技术掌握在国外供应商手中，难于满足自主可控的需要，其二是主要技术被大型机供应商所垄断，缺乏有效竞争，IT投入居高不下，逐渐成为银行经营的包袱。另一类是基于开放式的平台、采用分布式的架构，通过组建小型机集群或PC服务器集群。这方面在全球范围内没有可以借鉴的、与邮储银行业务量相当的成功案例。在技术进步和装备发展的过程中，还有某些互联网企业采用基于云计算的分布式架构。它们采用开源软件，基于在PC平台来构建高性能的分布式核心业务处理平台，这种架构具有成本低廉、易扩展、自主可控等优势，但也有比较难攻克的技术难题，类似于货币学的蒙代尔三角理论。2000年加州大学伯克利分校Eric教授提出：在一个分布式系统中，一致性、可用性、容错性三者不可兼得，简称CAP理论。因此，在银行业务系统中采用分布式架构，在业务场景的选择上必须慎重，有取舍地攻克一致性技术难题。邮储银行高层经过充分论证，结合自身信息化历史包袱小、预算有限的实际，作出了采用分布式集群技术来构建核心银行业务系统的大胆决策。

 

2011年，邮储银行首先开展了采用小型机集群实现高并发、大交易量业务系统的原型测试。测试结果确认了分布式技术能够满足高性能业务处理的要求，因此邮储银行启动了分布式核心系统的设计工作，以建设一套可支撑邮储银行业务高速发展、易扩展、高可用的分布式核心银行系统为目标。建成的核心银行系统采用分布式架构，在性能上要求能够支撑6亿客户，13亿账户的日常交易处理，日均联机交易处理能力上限能够达到1.8亿笔，批量交易能够在5小时内处理完成。由于采用分布式架构，自然无法回避CAP理论中一致性、可用性和容错性三要素只能同时满足两个的难题，高可用和容错性必须满足，但一致性是银行业务系统的刚性要求。因此邮储银行经过充分论证，确定了分业务功能建设子系统，子系统内部必须强一致，子系统之间及子系统与外围系统之间，在一致性上有所取舍，通过建立差错处理平台、会计处理平台来弥补一致性问题的设计思路。从2011年开始原型测试，截至2014年年底已全面投产，目前系统日均交易超过8000万笔，峰值交易近1.2亿笔。系统上线后运行平稳，2016年上半年，跨行交易成功率达99.76%，在17家全国性商业银行中排名第二。邮储银行分布式核心银行系统的建成，开创了基于开放平台，采用分布式架构构建大型商业银行核心系统的成功实践，大大降低了IT的成本投入，打破了国外大型机在我国金融核心领域的垄断地位，为大型银行基础平台选型开辟了新路，也为国家实现核心技术“安全可控”的安全战略做出了有益的探索。

 

2015年，邮储银行制定了新一轮IT规划。新一轮规划基于邮储银行的战略目标，设计了邮储银行新一代IT架构蓝图，提出了创新建设八大平台、双总线及120个系统的IT建设任务和相应的技术路线。IT规划的逐步落地实施将进一步推动分布式架构在邮储银行的应用和发展。

 

银行业分布式技术的应用趋势

 

当前，商业银行的信息化建设面临诸多考验，其一，应对跨界金融的挑战，银行服务要更多惠及民众，这就要求信息系统要更加健壮、具有较强的灵活性和可扩展能力；其二，银行的经营形势趋紧，IT的投入将会受到严格控制；其三，信息安全、技术自主可控已成为国家战略，必须尽快打破技术受制于人的局面。综合以上三点，我们认为分布式技术将会被越来越多的商业银行在信息化建设过程中所选择，具体将呈现以下几种态势。

 

趋势一：集中式架构将加快迁移到分布式架构，但集中式架构设计思想与分布式架构将在一定时期内并存。

 

大量基于集中式架构构建的业务系统将逐渐迁移到分布式架构上，但是集中式架构和分布式架构将在一定时期内并存。在可预见的未来，银行核心交易和账户处理仍将主要基于集中式的架构来实现，即使采用分布式集群提供基础计算能力，但在数据库、文件管理等技术上改变仍然困难。但是其他的工作负载，包括电子渠道处理、管理应用、数据挖掘与分析等领域的应用处理将让位于分布式架构。其中最主要的原因是分布式架构受CAP原理的约束，无法实现实时强数据一致性，而这是银行核心交易和账户数据所必须满足的一个要求。但是我们也看到，随着技术的进步，各种软硬件部件的可靠性持续提高，“三角形”的面积逐步扩大，为构建稳定可靠的银行核心系统提供了更大的空间。邮储银行在核心交易和账户之外的处理上，已经成功地应用分布式技术构建了大型的核心业务系统，并且在渠道类系统中成功引进了云计算技术，以此为基础开始了核心交易系统上云的尝试，下一步将继续努力，实现核心系统上云。

 

趋势二：核心银行系统将进一步“瘦核心”化。

 

长期以来，银行核心系统一直作为银行交易和账户处理的中心，是银行信息系统架构的最关键的环节，是各家银行最繁忙和交易量最大的应用系统。卸载核心系统中与账户处理无关的负载，形成以账户处理为主的“微内核”和以规则处理、服务组合为技术特征，以产品管理为主要功能的新的产品管理平台。同时，随着分布式数据库应用的深入，部分银行已经将核心系统的查询交易（大约占到核心交易量的70%左右）迁移到分布式系统中，这种既不影响核心系统的交易一致性，又能降低核心负载，同时提升系统整体稳定性的做法将被越来越多的银行采用。

 

趋势三：分布式技术的普及将促使银行的总体IT成本相对下降。

 

基础设施层面，基于分布式架构构建的业务系统将主要运行在PC服务器+Linux环境上。分布式架构的一大优势是对每个数据节点的计算能力以及单点可靠性的要求大幅降低了，这导致价格低廉的PC服务器可以凭借数量优势取代之前主流的大型机，从而带来IT总体成本和支出的下降。或者说，完全有可能利用低成本的设备构建高稳定性、高可用性的银行系统。

 

趋势四：开源分布式技术将是银行的主流选择。

 

在过去的十几年，开源技术获得了较快的发展。邮储银行的实践证明开源软件的可靠性和稳定性并不比商用软件的低。许多知名的IT公司都曾经尝试在开源软件的基础上，进行商业化开发和推广，但少有成功者。采用开源软件，要慎重选择，一旦选定就要自主的跟紧开源社区的进展，努力为开源社区做贡献——这才是采用开源软件的可行的道路。以mysql为代表的开源关系型数据库管理系统、以Hadoop为代表的适应结构化和非结构化数据处理平台，在包括邮储银行在内的国内外银行业，已经积累了不少的成功案例，这个趋势将继续发展下去，而且速度会加快。受此趋势影响，我们发现部分商业数据库产品的供应商也开始改变经营模式，采用了开源策略，比如Greenplum、Impala和Kudu等，这也进一步佐证了我们的判断。（完）

 

文章来源：《金融电子化》2016年12月刊（本文仅代表作者观点）

本篇编辑：彭魏倬加