分布式架构会是银行数据中心的未来吗？

Posted 2021-07-02 twt企业IT社区

【摘要】近年来，传统商业银行信息科技建设取得了长足的进步。与此同时，伴随全球化进程加速、客户需求更加复杂多元、跨界竞争不断加剧，传统商业银行面临着严峻的挑战，也面临着全新的发展机遇。当前信息技术蓬勃的发展，使得传统商业银行亟需构建面向未来的客户服务模式，打造好全球化金融服务能力，建立起差异化竞争优势。在此背景下，各大商业银行均在探索切实可行的技术架构转型方案。近十年来分布式技术体系快速崛起，分布式架构越来越受到业界的青睐，金融业正在经历一场前所未有的从集中式架构到分布式架构的变革，构建分布式架构的云数据中心成为必然趋势。本文就简单分享一下某银行数据中心架构演进思路。

【关键词】分布式架构 云计算 云数据中心

【作者】何兴建，以DBA开始IT生涯，10来年中不断学习IT新技术，当前主要研究openstack和分布式技术，擅长云平台架构设计。现就职于某国有商业银行,主要负责云平台标准制定和规划建设。

在金融信息化建设快速发展的今天，IT 架构技术支撑能力显得尤为重要。作为一名银行数据中心的从业人员，根据十几年来的工作经历，谈谈自身的感受。从小型机和集中式存储的物理架构，到现在的分布式、大数据、智能化的IT架构，银行信息化架构也随着时代的进步在不断的升级，已开始逐步从集中式架构演变到分布式架构，基于分布式架构的云数据中心成为必然趋势。

一、为什么需要分布式数据中心？

随着云计算、大数据和物联网等新技术的大规模使用，数据中心成为了医疗、政府、互联网和金融等行业建设的重点。特别是银行数据中心由于承载核心业务，不允许任何数据中断、要求能够快速响应业务变化和具备一定的灵活性，已经成为了名副其实的“生产中心”。反观数据中心，传统的集中式架构已经无法满足新时代业务的需求。而基于分布式架构的数据中心是一个和集中式架构相对应的技术体系，包括了分布式业务部署、分布式计算、存储、网络安全等多种分布式技术的集合。在传统数据中心无法保证业务响应能力、连续性和灵活性，发展达到一定瓶颈的时候，分布式架构就自然成为了一种必然的选择。

在早期的数据中心建设中，大多数IT建设者们并不太关注采用何种技术架构，觉得没有那么重要。数据中心建设的重点就是让承载的业务系统稳定运行，为服务器、存储和网络设备提供一个良好的运行环境，让业务系统没那么容易“宕机”即可。所以早期大部分数据中心都是烟囱式的架构设计，每个业务系统都会配置一套独立硬件设备，数据完全是割裂的，导致设备利用率非常低，资源完全无法共享。

为了应对信息化的快速发展，提高设备利用率和灵活性，云计算技术被大规模推广和采用。云计算可以提供可用的、便捷的、按需的资源提供，逐渐成为了主流的数据中心架构，目前大多数行业的数据中心都已经具备了云计算的能力。除了大规模数据库等少数业务场景以外，新业务应用基本都是使用云模式进行构建，同时还有大量现有的业务应用正不断向云计算环境进行迁移。

基于云计算架构的数据中心建设已经成为主流的建设模式，提供更多的是一种服务。而基于分布式架构的数据中心，更多的是指一种数据中心的计算模式，而不是一种服务形式，它是云计算数据中心的技术基础和扩充。

二、集中和分布式架构两种数据中心的区别

分布式架构数据中心在技术层次上，主要包括两个概念：单个数据中心内的分布式架构和多个数据中心的分布式架构。单个数据中心内的分布式架构，主要包括分布式计算、存储、安全网络等多种分布式技术的合集。多个数据中心的分布式架构主要是指将传统多个数据中心统一整合为一个数据中心。实现业务连续性灾备，多中心运营和管理等。例如：将多个不同地区，不同规模的数据中心使用统一的管理平台进行资源的统一管理，使用统一的运营平台实现统一运行。

2.1 分布式计算架构

数据中心的分布式计算更多的是指分布式软件架构，是以分布式计算技术为基础，用于解决大规模问题的软件架构。分布式软件架构具有较好的伸缩性，特别在处理大数据问题时，分布式架构能显著提高处理速度。常见的分布式软件架构有分布式操作系统、文件系统和数据库等。

以数据库为例，传统数据中心是单个数据库为主，数据集中存储在一台服务器或存储上，数据的处理也集中在单个或多个集群节点内完成。传统数据中心数据库以Oracle、Db2为主，但是当单表数据量爆炸或者单个数据库无法承受高强度I/O时，集中式的架构是无法解决性能和数据处理瓶颈问题的。淘宝网最早使用的就是Oracle数据库，随着用户和商品信息量的增加，最后不得不改走分布式数据库的路线。分布式架构的数据库具有灵活的体系结构 ，更适合分布式的管理与控制， 而且可扩展性好，也易于扩充。

2.2 分布式存储架构

传统数据中心通常为集中式存储架构，单台存储的性能和扩展能力是有限的，一般达不到线性扩展。随着存储容量的增加，存储的性能会先增加然后达到一定瓶颈后逐渐降低。面对海量PB级数据，如果使用传统独立SAN存储设备，要么扩展能力达不到，要么扩展能力可以达到海量PB级别，但是容量和性能不会线性增长，而且以后存储扩容和运维成本也非常高。

随着数据中心业务数据的不断增加，大数据的海量数据挖掘与日志分析正逐渐成为一个主要应用场景。在面对极具弹性的存储需求和性能要求下，传统数据中心单机或者独立的SAN存储设备基本无法满足大数据处理的需要，分布式存储就显得尤为重要。

以Hadoop为例，这是一款比较成熟而且应用比较多的大数据处理的分布式开源软件。其最底部是HDFS分布式存储，HDFS的设计本质就是为了大量的数据能够分布式存储而存在的。HDFS可以将数据存放在很多不同的机器上，而用户不必关心具体的数据在哪，HDFS会管理这些数据。HDFS是一个高度容错的分布式存储系统，可以分布式部署，以流式访问模式访问应用程序的数据，可以提高整个系统的数据吞吐量，非常合适用于具有超大数据集的应用中，而且随着整个分布式存储系统的扩展，容量和性能会成正比进行线性增长，非常适合大数据类的业务处理和应用。

2.3 分布式安全网络

传统数据中心网络安全是基于安全域、安全边界的防护机制，是一套纵向安全策略，只关注业务流量的访问控制，将流量安全控制作为唯一的规划考虑因素。而虚拟化技术的大量使用使得网络边界模糊化，主要依赖横向安全策略，能够满足安全流量动态迁移到其它物理服务器。传统基于已经难以满足虚拟化环境下的应用模式，虚拟化的服务提供模式，使得对使用者身份、权限和行为的鉴别、控制与审计变得更加困难。这会导致许多基于传统数据中心的安全防护手段失效。

在云计算数据中心，多台虚拟机都在一个服务器设备内运行，虚拟机之间通过虚拟化交换机进行连接，通信流量并没有通过外部交换设备，导致传统安全设备对这部分的流量失去监控。目前大多数虚拟化软件厂商没有在虚拟机通信的东西向流量提供高效的检测和隔离方式，如果某台虚拟机出现安全问题，可能会对相关连的资源池产生严重的安全威胁。另外，虚拟机会随时迁移到其他服务器设备上，造成安全域边界的动态化，传统数据中心固定边界的防护手段也会失效。当虚拟机迁移到新服务器设备上，如果新服务器设备没有对应的安全保护策略，就可能对迁移后的虚拟机造成安全威胁。

为解决云计算数据中心存在的安全问题，需要采用分布式的方式部署安全管理软件或系统。通常分布式网络安全产品由集中管理平台+分布式安全管理软件组成。集中管理平台负责安全策略的集中管理，并对安全策略的迁移功能提供支持。同时接收虚拟化安全设备的日志以及统计信息，并分析整个数据中心的安全态势。安全软件是以分布式的形式部署虚拟机和虚拟化平台上，可以克服传统物理安全设备的局限，更贴近虚拟机的位置，利用引流或者重定向机制，获取所有虚拟机的流量，实现分布式的安全防护。

2.4 分布式云数据中心

传统数据中心为了做到业务高可用，保证业务连续数据，防止数据丢失，通过采用“同城主备/双活数据中心”或者“两地三中心”的架构。但是不管采用哪一种架构方案，都会产生一定的IT资源浪费问题。“主备数据中心”，解决了业务连续性问题，但是平时只启用一个数据中心资源，另外一个做备份。“双活数据中心”，解决了业务高可用问题，但是两个数据中心需要部署和运行同样业务，同样会浪费一个数据中心的资源。“两地三中心”，同时最大程度的兼顾业务和数据安全，但是IT资源浪费最严重。

在分布式云数据中心概念里，多个数据中心不再是主/备或者双活的关系，而是通过云计算技术、广域网二层网络互连技术和数据复制技术，将多个数据中心组建成一个分布式的跨中心和地域的“虚拟资源池”。所有业务和数据都可以按需被分配到不同的数据中心，实现比“双活”或者“两地三中心”更优的业务部署方案。同时还可以实现数据中心资源利用率的最大化，降低运维和管理成本，更好的保证业务的连续性。

基于分布式架构的云数据中心，主要考虑三个问题：业务访问网络，大二层网络和数据同步复制。业务访问网络可以通过全局负载均衡GLSB和智能DNS实现不同区域的本地访问，使用大二层互联网络技术可以解决虚拟机迁移问题。数据同步复制可使用微服务+容器+分布式存储复制技术解决。通过微服务解耦业务，无状态应用使用容器通过大二层网络进行迁移，有状态应用可以跟随虚拟机进行迁移，冷数据尽量集中存储，共享访问，避免过多的数据迁移。

2.5 两种架构的主要区别

通过上述对集中式和分布式架构在资源处理能力、业务支撑能力、安全管理能力、可用性和一致性、运维和管理等多个方面的分析可以看出：集中式架构在系统复杂度、数据一致性、安全措施实施方便性和运维管理复杂度等方面有一定优势。分布式架构在资源使用成本和扩展能力、业务部署的灵活和系统可用性等方面具有明显优势。而且集中式架构的复杂性可以通过加强管理和设计降低复杂度，安全措施则可以通过增加安全系统和手段加强控制，数据一致性则需要通过先进的分布式系统与大规模运维平台来支持，当然前提是需要牺牲一定的可用性，这也是分布式架构面临的一个挑战，下文我们会进行详细论述。

三、分布式架构数据中心的挑战

随着数据中心信息系统数量的增加和处理数据量越来越大，分布式架构的优势会越来越明显，但是越是先进的架构所面临的挑战也就越大。

3.1 设计上的挑战

由于分布式架构采用多节点设计，这种架构最大的难点是会导致数据一致性和可用性上的挑战，所有的分布式架构设计都绕不开这两个挑战。

根据CAP理论，分布式系统只能满足其中两项而不可能满足全部三项。在分布式计算环境下，P是必须要现实的，否则分布式网络节点通讯就会出现问题，所以只能在C和A之间做出选择，即选择CP模型或者AP模型，实际的选择需要根据自身的业务场景来根据各个不同的模型特点进行取舍。对于一些离线的应用或者对可用性要求不高的业务，可以采用CP模型。这一类模型相对简单，但是应用场景也有限。例如日志数据分析系统，大部分数据都在本地，我们只需要在分布式架构中配置一定的冗余节点和恢复机制即可。如果某个节点出现故障，分析系统会自动等待其他备用节点恢复后再继续运行，因为短时间停止不会对系统产生太多影响，但是各个节点分析的数据要求必须保持一致性。

在数据中心，核心系统和重要业务系统占比较大，如果采用分布式架构，可能即需要高可用性也要求数据一致性，这是分布式架构设计最大的一个挑战。以银行业为例，保证业务的连续性和高可用性是非常重要的一个需求，可以采用AP模型进行设计。但是数据一致性也是要尽量保证的，因为金融系统如果数据不一致，会产生严重的数据问题。关于数据一致性，在分布式架构中可以按程度分为强一致性、弱一致性和最终一致性。为了保证金融系统的高可用和业务连续性，数据强一致性很难达到，弱一致性又无法满足要求，做为取舍，可以实现数据的最终一致性。在分布式系统中，数据会被存储在多个节点，各个节点的数据被应用修改后，最终一致性不要求各个节点同时更新数据，只要求尽快将各个节点更新后的数据分布到整个系统中，这样在保证系统可用性的同时会实现数据的最终一致性，保证金融行业对数据要求。当然，并不是所有的金融业务都可以采用最终一致性的方案，例如核心实时交易系统，必要要求实时处理数据并保持强一致性，这也是目前大多数金融机构核心交易系统还在使用集中式架构的原因。

3.2 建设过程中的挑战

分布式云数据中心在建设过程中同样也面临一些挑战，主要包括网络、存储和计算三个方面：

在网络方面，多个分布式云数据中心之间的通信是个问题。需要考虑多个不同区域的网络访问接入、负载均衡问题。还要满足分散在多个云数据中心之间的业务通信和切换的需要。目前主流的技术方案是以大二层网络技术为主，打通多个数据之间的网络，形成一个统一的逻辑网络。但是目前各个网络设备厂商之间的大二层网络和协议不统一，设备兼容性有一定的问题，这也是分布式云数据中心改造所需要解决的一个问题。

在存储方面，数据实时同步，实现统一的存储资源共享并建立高可靠性的数据保护机制，是一个比较严峻的挑战。多个数据中心可能分散在不同地域，各个数据中心之间的网络带宽有限，可能无法做到数据实时同步，只能采用异步传输。那么数据一致性和完整性可能就等不到保证。上文提到的应用解耦+微服务架构可以解决一部分问题。但是对于传统的无法进行微服务改造的应用仍然是个难题。在数据一致性和可用性上可能需要一些取舍。

在计算方面，目前技术相对成熟。将资源云化以后，利用云计算技术可以实现对计算资源在多个云数据中心的统一调度和管理。还可以设定权限，进行精细化管理。在计算方面的一些挑战，通常指对计算资源的管理。例如在某一个应用出现故障时，是将这个资源在本地进行重建还是在其他云数据中心进行迁移和重启，因为这会影响到各个节点的其他业务访问，需要提前进行统一的规划和安排。

四、结束语

相对于传统数据中心，构建分布式架构的云数据中心是非常有必要的，它影响着数据中心建设的方方面面。在未来，没有分布式架构的数据中心一定不会是一个优秀的数据中心。通过云计算技术的不断发展与实践，我相信分布式架构一定会成为银行数据中心的未来发展方向。即使银行未来数据中心的架构不是完全分布式的，但是分布式架构也绝对不会缺席，一定会有分布式架构的一席之地。

原题：银行数据中心向分布式架构演进及思路分享

点击文末阅读原文，可以到原文下留言交流

觉得本文有用，请转发或点击“在看”，让更多同行看到

 资料/文章推荐：

• 
  

下载 twt 社区客户端 APP

或到应用商店搜索“twt”