大数据轻骑兵大数据时代，数据仓库的新诉求与新变革

Posted 2021-04-24 DIST上海数慧

在数据仓库和商务智能领域的权威专家Kimball说：“我们花了二十年的时间往数据库中加入数据，现在该是拿出来使用的时候了。”

伴随着国家进入大数据时代，为当下越来越复杂的城市研究提供了良好的数据基础的同时，也对数据仓库技术提出了更高的要求：

支撑海量数据存储和低延迟联机查询，将企业主要数据汇聚到一个平台上，支持大并发的低延迟联机查询，这也是一般企业应用大数据能力的初步目标。

支持统计分析应用，包括即席业务统计报表、多维业务数据分析、客户群体细分等应用，一般可替代传统数据仓库的主体功能。

数据探索与业务预测。支持业务分析团队的数据探索和业务建模实验，实现诸如业务趋势预测、客户行为预测等高阶应用。

决策支持能力。通过应用决策树、规则推理引擎、运筹优化技术，实现客户定价、风险预警等领域特定业务问题的机器自动化流程管理和简单人机交互方式的辅助业务决策支持应用。

自主学习能力。通过引入深度学习网络、知识图谱、遗传演化等智能技术构建相对复杂的机器智能学习体系，能从海量数据中提炼高价值信息，构建自主训练与反馈、可不断从最新数据中调整演化的智能业务模型体系。

以Hadoop/Spark为代表的大规模数据处理技术为超越传统数据库的处理局限性提供了先进的并行计算和资源调度框架。

有鉴于此，为了更好的帮助规划人员去分析新的数据源，让新老数据融合出新动能，为了应对复杂的数据分析场景，以及降低计算和存储的成本，上海数慧提出了新一代的基于大数据技术构建的数据仓库解决方案。我们认为新一代数据仓库需要能够支持在异构基础设施和体系结构上的部署，它们也要有将传统的结构化数据和大数据集成到一个环境中的能力。

- 基于大数据技术的数据仓库系统架构 -

利用Spark/Hadoop为代表的大数据技术，结合传统的数据仓库数据质量、数据治理等理念，新一代的系统可以支持：

01

海量的数据存储，将结构化数据和非结构数据汇聚到一个平台进行联合查询，也大大降低了大并发下的延迟时间；

02

强大的数据ETL（清洗、转换和装载），以工作流方式设计的数据处理流程自动将各个异构数据源的内容进行分类整合，整个过程清晰可控；

03

数据的探索与预测，集成的Spark MLib等机器学习技术帮助业务分析团队进行数据探索和业务建模实验，实现预测性、处方性等高阶分析；

04

统一的数据服务，将主题、集市的数据以API形式进行注册发布，便于数据接口的集中管理，避免浪费；

05

统计分析应用，预置的可视化框架支持各类指标的定制化展示，实现可视化分析。

在上海数慧新一代的基于大数据技术构建的数据仓库解决方案中，我们根据主题+业务的方式进行数据存储，以具体业务为依据提炼主题要素。依据可重用性、安全性、高可用性、可管理性、可扩展性、高性能的设计原则，采取总体规划、分层实现的方式。以底层软硬件与数据相结合，需求与问题驱动，建设良好公共数据模型层，便于数据更直观完善的展现，为业务和决策人员的分析决策提供良好的支持。

- 数据模型层的整体规划 -

我们相信基于大数据平台的规划数据仓库构建将逐渐成为组织内部数据管控的枢纽和压舱石。上海数慧致力于将新的分析方法用于传统数据，让新老数据相互碰撞，通过这些探索希望可以为最终用户唤醒多年积累的数据。

End

转载声明

○

无原创标识的文章请按照转载要求编辑，可直接转载，转载后请将转载链接发送给我们；

○