数据仓库的概念

Posted 2021-04-24 项目管理的一些事

数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、且随时间变化的数据集合，用于支持管理决策。

1．数据仓库的特征

（1）面向主题。操作型数据库的数据组织面向事务处理任务（面向应用），各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。例如，一个保险公司所进行的事务处理（应用问题）可能包括汽车保险、人寿保险、健康保险和意外保险等，而公司的主要主题范围可能是顾客、保险单、保险费和索赔等。

（2）集成的。在数据仓库的所有特性中，这是最重要的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

（3）相对稳定的（非易失的）。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

（4）随时间变化。操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

数据仓库反映历史变化的属性主要表现在：

（1）数据仓库中的数据时间期限要远远长于传统操作型数据系统中的数据时间期限，传统操作型数据系统中的数据时间期限可能为数十天或数个月，数据仓库中的数据时间期限往往为数年甚至几十年。

（2）传统操作型数据系统中的数据含有“当前值”的数据，这些数据在访问时是有效的，当然数据的当前值也能被更新，但数据仓库中的数据仅仅是一系列某一时刻（可能是传统操作型数据系统）生成的复杂的快照。

（3）传统操作型数据系统中可能包含也可能不包含时间元素，如年、月、日、时、分、秒等，而数据仓库中一定会包含时间元素。

2．数据仓库的分类

从结构的角度看，有三种数据仓库模型，分别是企业仓库、数据集市和虚拟仓库。

（1）企业仓库收集跨越整个企业的各个主题的所有信息，它提供全企业范围的数据集成，数据通常来自多个操作型数据库和外部信息提供者，并且是跨多个功能范围的。它通常包含详细数据和汇总数据。

（2）、数据集市包含对特定用户有用的、企业范围数据的一个子集，它的范围限定选定的主题。

（3）、虚拟仓库是操作型数据库上视图的集合。

3．数据聚集与立方

对某一事务可能会有多个观察的角度，这多个角度就构成了多维。数据仓库中多维的交点就是数据仓库用户要观察的事务。聚集是指按照维粒度、指标与计算元的不同，依据实际分析需要对底层数据进行记录行压缩、表联接、属性合并等预处理，是对底层的详细数据进行相应的统计的数据加工形式，包括求和、求平均值等。

聚集计算的结果是根据用户可能的查询预先计算好的汇总数据。汇总的形式多种多样，可以沿着数据仓库中的多维数据的任何一维或多维进行。如果维分层次，聚集还可以在任何一个层次上进行。维的某种组合对应的聚集数据称为一个方体，给定维集合的所有方体形成的方体格称为该维集合的数据立方（Data Cube）。数据立方的建立就是通过聚集实现的。数据仓库中的立方也称为多维立方，数据立方的维数超过3时就称为超立方体或超维数聚集。

数据聚集用于提升数据仓库系统进行联机分析处理时的性能，它通过在问题提出之前就准备好答案来缩短查询响应时间，是OLAP技术能够快速响应的基础。聚集降低了直接访问基础数据对前端应用的影响，减少了对基础数据的重复计算，使用聚集可以在一定程度上保证数据一致性。