大数据技术打造金融“智能核心”

Posted 2021-04-26 大数据学习日志

数字经济是浙江的“一号工程”。近年来，随着科技的不断发展，数江省农信联社在大数据平台建设的基础上，于2019年提出了以科技引领数字化转型的发展战略。

一年多来，浙江农信依托数字化转型积极探索前沿技术，加快大数据、人工智能、云计算等技术应用布局，推动线上线下融合发展，金融科技对业务发展的支撑和服务能力得到跨越式发展。

基于大数据平台，浙江农信已建成20个系统及场景应用，该平台正逐渐成为浙江农信金融科技名副其实的“智能核心”。

字经济逐渐成为经济社会可持续发展的新引擎。

一是海量存储的能力。

为了更好地匹配应用系统数据需求的多样性，浙江农信大数据平台设计了准实时ODS数据集群和T+1数据集群两套集群，独立处理不同时效的数据，在数据的抽取、转换、加载处理和存储能力上更加灵活高效。

并能在存储尽量多明细数据的同时，提供历史数据查询。浙江农信的历史交易数据庞大，基于传统数据库的存储性能及存储成本已无法满足需求。

相较于传统平台，新平台扩容更加方便，成本也进一步压缩，通过大数据技术，解决了数据处理的性能问题和海量数据的存储问题，也实现了数据查询的高效率，这既满足了新应用的海量数据需求，又为传统系统的历史迁移打好了基础。

二是处理复杂类型数据的能力。

浙江农信大数据平台实现了支撑高并发下的非结构化数据处理、存储、检索。以此为前提，浙江农信搭建了冠字号系统、数字影像平台等系统应用，为非结构化数据提供了优异的存储和处理能力，保证了长时间、高并发业务下稳定可靠的快速响应。

如针对引入外部数据带来的数据结构格式不一、数据半结构化及非结构化等问题，浙江农信通过大数据平台解析处理外部数据，建立外部数据平台提供存储和查询的支持，向应用系统提供统一、标准的外部数据查询服务，满足业务部门个性化、定制化的外部数据使用需求。

同时，通过一站式对接行外多渠道、多类型的数据，并进行统一维护管理，也解决了数据复用度低、标准不一致的问题，有效提升了外部数据使用的响应速度及能力。

又如浙江农信利用大数据平台的非结构化数据存储检索能力建立了数字影像平台，将原先散落分布在各个行社的影像数据进行集中存储，在节省硬件成本的同时提升了数据的响应速度，结合人脸识别技术对异常客户进行快速反应，有效降低了冒充开户等欺诈风险。

三是全平台数据统一管理、高效运作的能力。

大数据平台通过数据统一管理，为浙江农信提供了全面高效的数据资产管控环境，实现了数据的集中、统一和共享，为后续各应用系统的开发建设提供了充分的数据支撑保障。

浙江农信利用Hadoop大数据平台的分布式存储、计算和分布式检索能力实现对新一代冠字号系统数据的快速处理和查询，实现了每10分钟更新一次数据的突破；

另外，还实现了对多类型数据的统一管理、分布式存储在线扩展、低延时数据处理、实时流式数据处理和提供科学的数据挖掘算法等技术能力，建立了统一的监控运维平台。

该平台对各类型操作系统、服务器硬件等、各类型数据库、各应用层服务、自定义监控实现统一监控，并与现有告警平台实现对接，实现告警事件的快速触发。

• 
  

这是一个有温度的公众号