金融数据仓库的智能化趋势与构造方案

Posted 2021-04-24 法壹刊

前言:

随着科技巨头公司将人工智能技术渗透在各种产品的方方面面，未来人们的生活将更加的智能和人性化，在这历史进程中，金融业这与老百姓生活息息相关的产业步入智能化产业升级的道路已势在必行。而数据仓库的建设是此条道路的基石，直接决定了人工智能在金融行业应用的深度和广度。

与此同时就金融行业本身，随着外部监管和信息披露的压力、内部管理和决策分析的需要，在建设分析类应用时，从孤立的数据层向统一的数据仓库层规划和转移也是必然的。建立数据仓库能够减少对数据层的重复投资和资源浪费、统一数据标准、监管和提高数据质量、消除信息孤立、支持综合分析和灵活及时的分析型应用、适应管理和发展、提高业内竞争力。

本文将结合实际业务场景，就数据仓库在金融行业的应用做一个简单分析。

注释:

数据库：更关注业务交易处理,通常追求交易的速度，交易完整性，数据的一致性,主要遵从范式模型,从而尽可能减少数据冗余，保证引用完整性。

数据仓库：更强调数据分析的效率，复杂查询的速度，数据之间的相关性分析，在数据库模型上，数据仓库多使用多维模型，从而提高数据分析的效率。

数据仓库的架构如下图所示:

数据仓库特征:

面向主题：主题是在较高层次将企业信息系统中的数据综合、归类、并进行分析利用的抽象。例如对于银行来说，数据仓库面向的主题域可能包括当事人、协议、产品等。

集成：由于各业务系统异构、数据标准不统一、数据模型差别大，在数据仓库建设时要进行数据集成归一化操作，为所有应用提供统一标准的数据。

具有历史性：数据仓库对各源数据进行加工和聚合，加工后的基础数据和聚合数据是随着时间不断变化的。

不可修改：数据仓库不会修改从各个源系统收集的细节数据。这正好彰显数据仓库具有历史性的特征。

金融行业需求:

1.业务系统建设和不断完善，巨量异构数据的积累。需要一个统一的平台来规范化存储和利用这些异构的数据，打破信息孤立的格局。

2.分析类需求不断增加，传统分类应用可操作的数据集大小有限，面对一些复杂的场景明显显得能力不足。

3.需要一个统一的平台去整合部门级应用，建设企业级应用，为企业提供自上而下的数据服务。

4.需要应用机器学习、深度学习技术对海量数据进行数据挖掘以实现业务升级。

数据仓库在金融行业的应用:

BI报表：BI报表提供日常业务管理统计以及可视化，辅助发现业务发展趋势。BI是数据仓库信息共享的主要途径，是最重要的展示方式。部分常用的，能够提炼出共性的业务统计可转化为BI报表，BI报表所涉及的维度和度量是确定的；信息具有普遍性，简单和容易理解，对分析人员要求不高。

分析型应用系统：分析型应用系统是特定业务场景的整合，可以帮助特定的用户逐步访问与分析一系列交互式报表。分析型应用一定是基于特定的业务场景，例如风控管理、营销管理、客户管理等。

交互分析：交互分析主要解决无法预定义的查询分析需求以及查询问题的详细钻取。交互分析随时可能发生，可由任何部门个人发起；有应对突发需求的相应能力；交互分析具有特定的目标、特有的度量、专用的视角和逻辑。

数据挖掘：数据挖掘是从大量详细数据中提炼出隐含的、先前未知的并有潜在价值的信息的过程。主要是基于统计学、模式识别、机器学习、深度学习、自然语言处理等技术做出归纳性推理，并从中挖掘出潜在的价值，帮助决策者调整市场策略，减小风险，做出正确的决策。数据挖掘一般需要跨业务场景进行综合的关联分析；针对的是某个特定领域的特定问题，应用范围和服务领域具有专用性；数据挖掘使用的统计技术和模型生成的结果都具有高度的抽象性。

尾声:

为金融行业构建数据仓库是一项庞大的综合工程和长期持续的过程，是大数据和人工智能在金融行业落地的必经过程。在数据仓库的建设中要综合考虑系统和技术架构、组织结构、流程管理、数据监控和持续的数据质量改进。目前成功构建数据仓库的关键因素不在技术，而是科学的组织、流程和实时方法论。

感谢致词:

感谢！

小数带来数据仓库实用搭建技术，应用于金融市场数据建设。

法汇数据专注数据技术，深耕数据交换，开启数据资产。

§ §

《法壹刊宗旨》

---

以金融监管责任与司法责任追究双穿透为宗旨开展投资者保护维权行动，以法务数据、监管数据实证调查中的一评、一案、一例、一述研究为着手点，推动建立数据化为中心的金融权益诉讼路径，助力构建数据证据化的司法维权体系。

《特别声明》

---

本文关联阅读文章均来自网络，可能由于经过多次转载未能知晓原作者，如有侵权请联系。

联系邮箱：[e-mail]

---

扫描二维码关注