数据必备知识：数据仓库之数据存储

Posted 2021-04-24 数据开放资源

来源：中国统计网

• 元数据

描述数据及其环境的数据。两方面用途:

首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。

其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。

元数据机制主要支持以下五类系统管理功能:

(1)描述哪些数据在数据仓库中;

(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据;

(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排;

(4)记录并检测系统数据一致性的要求和执行情况;

(5)衡量数据质量。

• ODSOperational Data Store

ODS为企业提供即时的，操作型的，集成的数据集合，具有面向主题性，集成性，动态性，即时性，明细性等特点

ODS作为数据库到数据仓库的一种过渡形式，与数据仓库在物理结构上不同，能提供高性能的响应时间,ODS设计采用混合设计方式。

ODS中的数据是"实时值",而数据仓库的数据却是"历史值"，一般ODS中储存的数据不超过一个月，而数据仓库为10年或更多.

• Data Mart

为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据(subjectarea)。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是在实施不同的数据集市时，同一含义的字段定义一定要相容，这样再以后实施数据仓库时才不会造成大麻烦。

• DDS决策支持系统：

用于支持管理决策的系统。通常，DSS包括以启发的方式对大量的数据单元进行的分析，通常不涉及数据更新。

• OLAP

联机分析处理,On-Line Analysis Processing　即从数据仓库中抽取详细数据的一个子集并经过必要的聚集,存储到OLAP存储器中供前端分析工具读取。

OLAP系统按照数据存储格式可以分为关系OLAP(RelationalOLAP，简称ROLAP)、多维OLAP(MultidimensionalOLAP，简称MOLAP)和混合型OLAP(HybridOLAP，简称HOLAP)三种类型。

ROLAP将分析要用的多维数据存储在关系数据库中,并根据应用的需要有选择的定义一批实视图也存储在关系数据库中。MOLAP将OLAP分析所要用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。HOLAP能把MOLAP和ROLAP两种结构的优点有机的结合起来,能满足用户各种复杂的分析请求。

• 事实表

事实表是包含大量数据值的一种结构。事实数据表可能代表某次银行交易,包含一个顾客的来访次数，并且这些数字信息可以汇总，以提供给有关单位作为历史的数据。

每个数据仓库都包含一个或者多个事实数据表。事实数据表只能包含数字度量字段和使事实表与维度表中对应项的相关索引字段.，该索引包含作为外键的所有相关性维度表的主键。

事实数据表中的“度量值”有两中：一种是可以累计的度量值，另一种是非累计的度量值。用户可以通过累计度量值获得汇总信息。

• 维度表

用来描述事实表的某个重要方面，维度表中包含事实表中事实记录的特性：有些特性提供描述性信息，有些特性指定如何汇总事实数据表数据，以便为分析者提供有用的信息，维度表包含帮助汇总数据的特性的层次结构。

• 缓慢变化维

在实际情况下，维度的属性并不是静态的，它会随着时间的流失发生缓慢的变化。处理方法:

1.新信息直接覆盖旧信息

2.保存多条记录，并添加字段加以区分(用y,n;0,1,2或用时间来区别新旧记录)

3.保存多条记录，并添加字段加以区分

4.另外建表保存历史记录.

5.混合模式

• 退化维

一般来说事实表中的外键都对应一个维表，维的信息主要存放在维表中。但是退化维仅仅是事实表中的一列，这个维的相关信息都在这一列中，没有维表与之相关联。比如：发票号，序列号等等。

那么退化维有什么作用呢?

1.退化维具有普通维的各种操作，比如：上卷，切片，切块等

2.(上卷汇总，下钻明细;切片，切块:对二维数据进行切片，三维数据进行切块,,可得到所需要的数据)

3.如果存在退化维，那么在ETL的过程将会变得容易。它可以让group by等操作变得更快

• 粒度:(granularity)

是指数据仓库的数据单位中保存数据的细化或综合程度的级别，细化程度越高，粒度就越小。

• 钻取:

首先从某一个汇总数据出发，查看组成该数据的各个成员数据。

• 星形模型与雪花模型的区别?

1.星星的中心是一个大的事实表，发散出来的是维度表，每一个维度表用一个PK-FK连接到事实表，维度表之间彼此并不关联。一个事实表又包括一些度量值和维度。

2.雪花模型通过规范维度表来减少冗余度，也就是说，维度表数据已经被分组成一个个的表而不是使用一个大表。例如产品表被分成了产品大类和产品小类两个表。尽管这样做可以节省了空间，但是却增加了维度表的数量和关联的外键的个数。这就导致了更复杂的查询并降低了数据库的效率

• 维度建模(dimensional modeling)：

是数据仓库建设中的一种数据建模方法。按照事实表，维表来构建数据仓库，数据集市。这种方法最被人广泛知晓的名字就是星型模式(Star-schema)。

什么叫查找表，为什么使用替代键?(其实目的和上面一样，从基础表到缓慢维度表的过程中的一种实现途径)

替代键(alternate key)可以是数据表内不作为主键的其他任何列，只要该键对该数据表唯一即可。换句话说，在唯一列内不允许出现数据重复的现象。

数据仓库项目最重要或需要注意的是什么，以及如何处理?

数据质量，主要是数据源数据质量分析，数据清洗转换，当然也可以定量分析

数据仓库有两个重要目的,一是数据集成,二是服务BI

数据准确性是数据仓库的基本要求,而效率是项目事实的前提,数据质量、运行效率和扩展性是数据仓库项目设计、实施高明与否的三大标志;

• 代理键:

在关系型数据库设计中，是在当资料表中的候选键都不适合当主键时，例如资料太长，或是意义层面太多，就会用一个attribute来当代理主键，此主键可能是用流水号，来代替可辨识唯一值的主键

在数据仓库领域有一个概念叫Surrogate key，中文一般翻译为“代理关键字”。代理关键字一般是指维度表中使用顺序分配的整数值作为主键，也称为“代理键”。代理关键字用于维度表和事实表的连接。可以避免通过主键的值就可以了解一些业务信息。

另一种来源：

1. (Dimension)

维度是用来反映业务的一类属性，这类属性的集合构成一个维度。如、地理位置或产品，

2.粒度

粒度将直接决定所构建仓库能够提供决策支持的细节级别。粒度越高表示仓库中的较粗，反之，较细。粒度是与具体指标相关的，具体表现在描述此指标的某些可分层次维的维值上。例如，时间维度，时间可以分成年、季、月、周、日等。

3. 指标(Measure)

指标也称关键性能指标、事实或关键事务指标，是沿维度衡量商务信息的。每一个指标代表了业务对象所固有的一个可供分析的属性。指标是典型的数量、容量或将通过同标准的比较查明的款项。这些数据点可用于商务性能的定量的比较。

4. 指标组(Relation Measures)

实际上每一组用于分析的业务对象会有若干相互关联的指标，如营业额、纳税额。这些指标之间存在计算关系，往往是作为一个整体用于分析的，这个整体称之为指标组。

5. 元数据(Metadata)

关于数据的数据。元数据用于描述中的数据的结构、内容。

6. 元(Metadata Repository)

一种提供数据详细情况的词典。这些详细的信息包括数据源的目录和它们相关的标准。该数据目录描述的是数据捕捉和数据两种环境中可用的数据。该目录还应说明数据最后一次更新的时间和计划将要更新的时间—最起码，要说明数据维护的调度。数据目录还应说明数据的物理属性;也就是说，数据是如何存储的。数据目录帮助数据弄清楚“从哪里”可获得“什么样”的数据。

7. 中央数据库(Center Database)

数据仓库中用于存储原始数据的存储介质。此处的原始数据指从业务系统中采集后经过清洗、转换的数据。

8. 指标数据库(Indicator Databases)

数据仓库中用于存放指标数据的存储介质。指标数据库根据数据仓库系统的使用对象划分，通常分成多个。

9. 星形图(Star-Schema)

是数据仓库应用程序的最佳模式。它的命名是因其在物理上表现为中心实体，典型内容包括指标数据、辐射数据，通常是有助于浏览和聚集指标数据的维度。星形图得到的结果常常是查询式数据结构，能够为快速响应用户的查询要求提供最优的数据结构。星形图还常常产生一种包含维度数据和指标数据的两层模型。

10.雪花图(Snowflake-Schema)

指一种扩展的星形图。星形图通常生成一个两层结构，即只有维度和指标，雪花图生成了附加层。实际数据仓库系统建设过程中，通常只扩展三层：维度(维度实体)、指标(指标实体)和相关的描述数据(类目细节实体)超过三层的雪花图模型在数据仓库系统中应该避免。因为它们开始像更倾向于支持OLTP 应用程序的规格化结构，而不是为数据仓库和OLAP应用程序而优化的非格式化结构。

数据开放资源

ID：coreplatform

■ 中国数据资源开放平台

■ 让数据流通更可信、高效、安全