金融行业IT规划与系统建设，大数据管理平台先行

Posted 2021-07-20 steven_zhangxue

随着金融行业业务的快速发展变化，企业对业务系统的改造需求呈爆炸式增长，而且频率越来越快，尤其是综合业务系统已经进行常态化研发阶段。业务系统频繁变化通常会导致下游的数据管理系统随之变化，产生高昂的开发、维护成本，并影响下游系统用户的使用。

数商云在行业调研中发现，随着综合报表平台使用的不断深入，业务部门对数据利用的宽度和深度不断扩展，对业务数据分析职能的要求也越来越高:信贷、会计、风险管理、内部审计等业务部门需要获取标准一致、口径统一的全业务数据，对日常业务进行统计、分析和监控，根据查询分析的结果有针对性地规范业务操作与管理流程，强化业务经营和管理能力；各级领导需要全面完整的、包含历史信息的业务数据以便及时、准确地掌握本行业务的运行状况，分析、预测业务发展变化趋势，为管理决策提供支持。

一、问题及挑战

 一是缺乏统一的数据标准体系，无法建立全面、准确、完整反映全行经营状况的单一数据视图，制约了数据共享；

二是数据质量亟待提高；

三是数据管理条块分割。

二、建设思路及方案

1、建设思路

充分借鉴业界先进数据仓库建设成功经验，经过分析证，决定采用先建数据集市、后建数据整合层的方案  进行数据仓库建设，搭建数据基础平台，整合全行主要业务系统数据，形成全行数据应用统一出口。同时制  定一批得重要业务数据标准，依据标准对数据进行加工和整合，并通过标准的逐步完善，为解决数据管理和  数据质量质量问题提供手段和依据。

2、总体方案

 整体架构包含了数据源、数据平台、数据管理平台和数据应用四个部分。

（1）数据源

通过“数据管理平台”的数据处理及数据调度，将数据源中的数据分别写入数据平台。

（2） 数据平台

数据平台基于传统的关系型数据库构建，对结构化的业务数据进行存储、整合、加工和应用。其数据来源于行内各个业务系统，为应用提供全面数据支撑。

（3） 数据管理平台

数据管理平台对数据平台的数据关系、数据质量、ETL作业、生命周期等内容进行管理，是保障数据平台的正常运转，促进数据仓库逐步完善，提升数据仓库的管理水平的重要手段。

（4） 数据应用

面向最终用户提供数据的应用，包括统计报表、高管驾驶舱等数据应用。

三、关键技术及创新

1、平台化的数据仓库架构设计

平台化设计通过对数据平台进行需求分析，提炼需求共性特征并进行分类，划分出不同的平台，平台功能既各有偏重，又相互协同，形成数据平台的完整体系。

2、具有农业政策性特点的基础数据平台

基础数据平台以成熟的行业模型TD-FSLDM为基础进行定制，在保留银行业通用设计基础上，依据农发行自身业务特点，对模型实体进行细分和扩充，形成体现农发行政策性业务特点的模型设计。

3、自主可控的数据管理平台

数据管理平台包括数据调度、数据传输、数据生命周期、元数据管理、数据质量检核，各个子平台间既独立运行，又相互协作，共同支撑数据仓库的整体运转。

四、平台建设的价值：

数据平台建成后，可将源系统中多业务、多角度、多格式的符合条件的所有业务数据，按统一标准进行整合，保存各类业务对象，最终形成全行全面的、一致的、统一的标准化数据视图。下游系统只需通过数据平台，即可实现对所有业务数据的访问，并可对数据进行不同时期、不同角度的对比、分析和预测。在对外监管方面能够打破业务种类、部门之间的界限，提供口径一致，信息一致的监管报表；在对内管理方面，能够提供完整、统一的数据资源，满足经营管理和客户服务的需要。

同时，数据平台还将作为下游系统的唯一数据来源，为下游系统提供了稳定可靠的数据基础。当源系统随业务而变化时，整合层抗源变化的特性确保整合层模型在大多数据情况下无需变化，下游系统通常也无需变化，或只需微调报表样式或查询条件，即可适应源系统的变化。这样避免了下游系统随源系统变化而进行频繁的升级和调整，既减少应用维护复杂性和工作量，节约开发及维护成本，也减轻业务用户的系统使用负担。同时，根据同业数据平台的建设经验，源系统存在的数据质量问题对源系统、下游系统的业务准确性将产生不同程度的干扰，影响着数据分析的准确性、一致性。

因此，数商云在数据平台建设过程中，将对源系统的数据质量问题进行识别、定位、分析和处理，并将有质量问题的源数据，以报表查询或者分析报告的形式反馈至源系统，使其能准确识别和定位数据质量问题，并能从源头上解决数据质量问题，从而改进和提升源系统的数据质量。源系统数据质量的改进和提升，又可进一步保障数据平台的数据质量。通过如此迭代，最终使源系统、数据平台都形成统一的、高质量的数据，从而进一步保障业务数据应用的准确性和一致性。

---

<本文由数商云•云朵匠原创，商业转载请联系作者获得授权，非商业转载请标明：数商云原创>

作者：云朵匠 | 数商云(微信ID：shushangyun_com)