影像管理平台：业界少数建在分布式架构上的非结构化数据实时服务平台

Posted 2021-04-14 电子验印

随着银行信息化水平的不断提升，银行对于开放平台、核心系统、柜面系统、国际结算业务、信用卡业务、理财销售双录系统、集中作业系统、远程授权系统、信贷管理系统、互金系统、OA系统、事后监督等系统中非结构化数据处理的需求越来越多。为提升业务办理效率，规避业务操作风险，银行需要依托大数据技术建设的影像平台对其进行统一管理。公司砥砺深耕，拥有10余项影像类发明专利，并研发出影像内容管理平台，可为银行提供更安全、更稳定、更灵活的全行级影像服务。

公司可以为银行打造全行级影像内容管理平台，构建了银行非结构化数据管理平台，为所有业务和管理系统提供服务，具有综合管理银行海量非结构化数据的能力，完成从内容采集、处理、压缩、传输、储存、展现等整个生命周期的完全整合。该平台是核心基础架构及公共管理平台，可实现统一的平台管理服务、内容采集服务、内容传输服务、影像调阅服务、OCR识别服务、外部接入服务、内容存储服务以及安全管理服务，最终实现信息的整合共享。

该平台与各业务系统实时关联，将电子影像嵌入业务流程管理，作为业务流程的一部分，实现数字化影像，提高银行资料电子化处理能力，为全行业务提供有力支持。

Q: 首先向我们介绍了解一下什么影像管理平台吧？

在银行的日常业务中，每天都会产生、处理大量的报表、账单、电子文档、图片、音频、视频等非结构化数据。可以说，非结构化数据的管理是大数据管理极其重要的一环。

为此，影像管理平台作为全行集中的非结构数据管理平台，为各业务系统提供统一的影像存储、查询调阅等服务，实现非结构化数据从采集、传输、存储、调阅、归档的完整生命周期管理，目前已经接入小微、风控、个贷、微视窗、移动运营等60余个业务系统，存储影像文件数近30亿个，总大小超过200T，日均服务请求接近500万次、吞吐量超过1.2T，后续也将为越来越多的业务系统提供更全面的服务。

Q: 那同其他数据服务提供平台或系统相比，影像管理平台有哪些特点呢？

影像管理平台最大的不同，就是它提供的服务内容基本都是非结构化的数据，数据量大、类型多而杂，并且接入系统越来越多，要求服务响应时间越来越短，但相比结构化数据，非结构化数据的管理，一是技术和产品相对成熟度低，有很多可发挥的技术创新空间；二是服务提供的特点是高吞吐量、IO大，如何实时提供服务是非常棘手的问题。

Q: 那基于此，影像管理平台的实现架构和技术是怎样的？

目前的影像管理平台是“业界少有的搭建在分布式架构上的非结构化数据实时服务平台”。当前的这种架构也是一个通过不断地探索长期演进出来的结果。

随着移动互联网的发展，越来越多的传统业务被线上化和远程化，随之而来的是大量的图像和音视频非结构化数据，这些数据嵌在业务流程中需要实时保存、实时调阅，需要影像平台能够提供满足高并发和快响应的实时访问服务。

为此，影像管理平台分别做了同城双活和底层数据分布式两次较大的架构调整。其中如何将海量数据从主机房实时同步到灾备机房是双活亟待解决的问题，行里绝大多数的系统都是由基础环境层面完成的数据同步，但是由于影像平台数据量太大，传统的GPFS等数据同步方式成本太高，所以影像平台采用应用层、异步队列的方式来实现准实时数据同步的。

在对接分布式平台时，影像文件按照对象的方式存储，将一个文件按照块打散到多个数据节点上，利用24*8个数据节点分摊存储负荷，这样减少了I/O的开销，提高了效率；同时还在数据层面和应用层面做了资源隔离和流量控制，使平台具有对单个系统使用资源实时控制的能力，防止个别系统流量激增而引发全局瘫痪。

这套构建在分布式架构上的影像平台已经投产，并进行了5次系统迁移。新平台目前运行稳定，计划年底前完成所有系统的迁移工作。

另外，作为全行统一的非结构化数据管理平台，影像平台提供了便捷多样的接入方式，包括对接系统采用SDK方式；对接终端采用控件方式；非实时的海量数据采用批量方式。这些接入方式帮助业务系统简化了接入门槛，业务系统无需关心后台变化，都由影像平台全部负责。由于SDK、控件和批量服务屏蔽了后台变化，后续影像平台多次架构升级，对业务系统基本做到了透明。

Q: 影像平台后续还有哪些建设计划呢？

对于影像管理平台，我们是将它视作“非结构化数据管理平台”这样一个全行的基础设施，并进行产品化演进，因此已开展的工作包括：

• 从全行角度统一规划非结构化数据及元数据存储格式和规范，实现全行所有业务系统非结构化数据内容的共享和传递。

• 使用同一的接口和规范，支持各种业务系统的快速接入，在原有接入方式的基础上，未来还将探索更便捷的接入方式。

• 针对未来远程银行的场景，探索音视频文件的实时服务能力。

• 在现在的基础上，探索多中心的分布式影像平台方案，解决跨地域对音视频文件大量访问的需求

听完以上的分享，我们相信从以账户为核心、结构化信息为基础到以客户为中心、数字化业务模式的转变，影像管理平台将发挥其重要的作用，也相信影像管理平台的建设会越来越好。

---

1

问题及现状分析

 

        银行的凭证档案、票据档案、客户档案等还基本处于手工管理阶段，事后监督工作量大并且繁重，手工分散事后监督模式过于倚重人员素质，人为因素对事后监督质量的影响过大。

        凭证保存不便，查阅困难。凭证经过事后监督后送回网点，由网点分散保管，占据了行内存放凭证的空间，查阅凭证费时费力，要递送凭证纸张，浪费时间，并且由于经常查阅导致凭证损坏。

        整个事后监督操作比较分散，不适应前台业务整合和核算一体化的管理要求。

        人工审核重点不突出。一般由事后监督人员手工翻阅部分传票，无法选择高风险业务进行重点事后监督。

        审核工作需要具有较高素质、较多经验的事后监督人员担任，这样对事后监督人员要求高，人员培训也要花费很大的开销。

        不能实现基于历史交易统计和关联交易分析。目前各家银行在风险的防范上均采取了各种措施，包括业务系统内部实现的基于交易的控制，以及基于当天业务数据的简易的分析，但是随着目前高智商犯罪的增加，作案分子专门寻找制度的漏洞，使得每一笔业务本身都是正确的，而只有基于大量业务的统计和关联交易进行分析时才发现。

        对风险缺乏制度化的整套管理制度。风险模型的提出和建立、风险的生成和查询、风险的处理、风险的打印、风险的核销和落实没有制度化的方法来保证，效率低下。

        风险的响应不及时。一般地，70％的风险案件需要查找到原始凭证或者凭证的图像，但是目前的银行凭证的管理和风险的分析属于两个不同的部门，使得即使发现了风险，等到落实查找时已经过去了许多天，不能及时减少风险带来的损失。

2

影像平台实现了什么？    

1系统定位

        影像平台适用于金融业务的复杂性和先进性，随着业务的发展，产生的业务凭证、传票会日渐增多，其复杂性也随着改变。影像智能化平台提供OCR识别模版定制工具，可进行随着业务的发展进行灵活多变的适应。

影像智能化平台的主要功能：

一是实现会计凭证影像采集功能，将纸质的会计凭证集中到后台事后集中监督中心，进行高速扫描，实现会计凭证影像的采集。

二是实现会计档案影像电子化管理功能，将会计凭证、档案影像扫描后进行电子化集中管理，方便存储、检索和调阅等。

2系统简介

        银行影像平台为各应用系统提供影像和电子档案服务的公共运行平台，通过影像资料电子化、文件传输和内容管理技术，建立起包括纸质文档电子化、电子文档传输和共享、档案管理电子化在内的银行统一的非结构化数据存储平台。它包括影像采集控件、影像传输控件、影像切分系统、影像识别系统、档案服务系统、影像归档模块、生命周期管理模块。

3建设目标

        基于上述系统定位，我们将从如下几个方面去实现其建设目标，详见下图：

3

你们的产品是怎样的？

1系统架构

2网络拓扑图

3系统逻辑架构

        影像平台从逻辑架构上，总共分为三大部分：影像控件服务层、影像平台服务层以及应用层。如下图：

3.1 影像控件层

      影像平台提供的供人机交互的界面，影像控件服务主要用于客户端，主要功能是影像扫描采集、影像处理、影像展现、传输控制等；

影像扫描采集：影像扫描功能支持各种twain协议的低、高速扫描仪， 提供可调配的参数管理功能，扫描过程中可以暂停扫描、中止扫描、继续扫描等功能。

影像处理：影像处理实现图像的预处理功能（不含压缩和安全功能），提供以下功能：提供影像倾斜校正、去除黑边、纠偏、自动灰度化、旋转、亮度等，来提高图像的质量，保障图像的可读性。

影像展现：影像展现处理过程不影响影像文件的实质内容，主要提供对扫描的凭证的电子影像进行不同级别的放大缩小、优化显示，不同角度的旋转，翻页，跳转到指定页，多页图像的浏览（可设定每次浏览的图像个数）等。

传输控制：控件服务的传输控制功能主要完成影像从客户端控件向服务器端传输影像功能要求。

影像安全：影像平台提供影像安全功能主要包括影像的加密处理等。

影像识别层：负责影像OCR识别、影像校验、影像归档功能。

影像传输服务中，传输控制提供打包、流传输等功能保障传输的效率和稳定，同时还提供影像文件的上传、下载功能；

3.2 平台服务层

      平台服务层提供了影像传输服务、影像服务层和应用系统接口层。

接口服务：是影像平台的外围系统所能够访问到的接口信息，影像平台主要提供了影像调阅、影像维护、影像查询、影像归档等功能接口；

流水勾对：针对影像流水进行勾对。

影像日结：针对已完成流水勾兑的柜员凭证进行日结操作。

影像归档：实时将已日结归档至CM平台（内容管理平台），以供后督系统查询。

实时报送：实时将归档的数据报送至后督系统，实时无缝结合。

晚间批量报送：晚间将归档CM平台的数据批量归档至ODS（数据仓库）。

3.3应用层

       主要指外围系统集成交互，如柜面系统、后督系统、ODS平台等，通过接口服务与影像平台进行集成交互，获取影像文件及相关服务。接口从形式上主要包括API、WebService、报文以及URL等方式。

4影像流程

        影像流程主要实现流程控制及任务的分配工作，流程图如下：

4

你们的产品是应用于什么系统的？

        影像平台适用于银行内部需要处理影像的所有平台，应用最为广泛的为事后监督系统、智能远程授权、集中作业系统。