《数据智囊周刊第十七期》-数据仓库与商业智能管理（DW_BIM）

Posted 2021-04-20 数据智囊

 写在前面-名词解释

数据仓库（Data Warehouse）一般有两个主要组成部分，第一是一个集成的决策支持数据库；第二是用于从不同数据源收集、清洗、转换和存储数据的相关的软件程序。这两个部分结合起来用于支持历史性、分析性和商业智能需求。数据仓库也可能包含了独立的数据集市，这些集市的数据是数据仓库的子集。广义的讲，一个数据仓库包含了用于以支持为BI目的的所有的数据内容。数据仓库包含了抽取、清洗、转换、装载等数据操作过程的，同时也包含了维护数据仓库数据的控制过程。

企业数据仓库（Enterprise Data Warehouse）是一个集中化的数据仓库，目的是为满足整个企业的商业智能需求。EDW与企业数据模型高度粘合，目的是确保企业决策支持数据的一致性。

数据仓库是支持商业智能（Business Intelligence）的一种技术解决方案。商业智能则是一个商业能力的集合，BI意味着很多东西，包括：

1、让知识工作者通过查询、分析和报告活动来监控和理解公司的财务运行健康状况，做出商业决策；

2、查询、分析和报告的过程和步骤；

3、商业智能环境的同义词；

4、商业智能软件工具的市场分支；

5、从战略和操作的角度分析公司数据，并以此支持商业决策、风险管理和合规管理；

6、决策支持系统的同义词。

数据仓库和商业智能为知识工作者提供数据收纳、集成和展现，并以商业分析和决策支持为目标。DW-BIM的目标包含：

1、提供按主题分类的当前和历史数据的集成存储；

2、使得各类访问渠道能够访问数据；

3、建设稳定、高性能、可靠的数据查询、数据管理和数据访问环境；

4、提供易用、灵活性高且容易理解的数据访问环境；

5、扩散而非复制相关的数据管理职能，例如引用和主数据管理、数据治理、数据质量管理和元数据管理；

6、为数据治理中的支持决策、政策、过程、定义和标准提供一个公司级的数据接口；

7、定义、建设支持所有的数据集、数据过程、数据框架和数据工具；

8、将新发现的数据集成进入数据仓库，用于未来的分析和BI用途。

数据仓库和商业智能的关系图如下：

 数据仓库框架的来源

谈到数据仓库，有两个人是必须会提到的，Bill Inmon和Ralph Kimball。他们两位为促进和形成数据仓库的实践做出了巨大的贡献，这一小节则是介绍他们各自不同的两种方法的比较和不同。

一、Inmon 版本

（一）基本定义

在1990年代早期，Bill Inmon把数据仓库定义为一个面向主题的、集成的、时变的、不挥发的数据集合，里面包含了用于公司级战略支持决策过程的历史数据。具体如下：

面向主题：按公司的主要业务线进行分类组织的数据；数据仓库既不是面向功能的也不是面向应用的；数据仓库是用来满足公司的数据需求而不是某些特定部门的分析需求。

集成性：集成意味着将数据仓库内的数据进行统一性管理，覆盖了很多方面，包括主键架构、编码和解码架构、数据定义、明明习惯等等。

时变性：时变性是指数据仓库中的每一条记录是如何及时的精确的关联到时刻。

（二）DW/BI架构和组成部分

Inmon与另外两位同仁写了关于公司实施数据仓库与BI管理的数据架构组件，被称之为CIF(Corporate Information Factory)，如下图所示：

二、Kimball版本

（一）基本定义

        Ralph Kimball使用了一种不同的方法，将数据仓库定义为仅仅是交易数据的备份，用于结构化查询和分析。这个备份有别于操作型系统的数据，试用的多维数据模型来时的业务用户能够更成功的理解和使用数据。

Kimball称他的方法是商业维度生命周期，然而这个比较常见的叫法是Kimball方法，商业维度生命周期的基础有三个原则：

1、业务聚焦。近期业务需求和较长期的数据需求的集成和统一。

2、原子维度数据模型。使业务用户理解和查询更加容易。

3、迭代升级管理。将数据仓库的变化和升级看做一个单独的、有时限的项目，虽然数据仓库将会是有无限个项目组成。

（二）DW/BI架构和组成部分

 怎样实施BI和数据仓储

数据仓储主要关注于DW_BIM生命周期中从数据源中的数据内容，而BIM则更多的关注于数据的展现。DW和BIM是相辅相成的，实现DW_BIM则有以下一些事项：

1、理解信息需求。从业务出发，而且一直聚焦业务是DW_BIM获得成功的关键。从企业的整个价值链进行观察是理解业务的好方法。收集DW_BIM项目的需求与典型的IT需求有相似之处也有不同之处，DW_BIM项目中更注重的是更广范围的理解商业内容和业务目标。2、定义和维护DW-BI架构。成功的DW_BI架构需要从其他智能中明确纳入许多关键角色，包括：技术架构师、数据架构师、ETL架构师、元数据专家、BI应用架构师。DW_BIM需要利用好公司的IT部门的规则和组件，因此需要关注另外一些相关的重要事项，如评估和集成合适的业务流程、架构和技术标准等。DW_BIM的架构与公司的报表架构进行集成是非常重要的。最后一点，如果没有业务对数据的认可，DW_BIM是不可能成功的，数据认可包括了数据被理解、具有可验证的质量、具有可展示的血缘关系。

3、实施数据仓库和数据集市。数据仓库的目的是从各类数据源中集成数据，并把集成数据提供至BI用途。数据的消费和使用一般会通过数据集市来进行。数据集市的最主要作用就是为知识工作者提供数据用于分析，而成功的数据集市必须是能够然让数据的访问很简单、可理解、高性能。数据仓库和数据集市的利用可以看做是一种《高效能人事7个习惯》的应用，start with the end in mind，第一要明确需要解决的业务问题，然后确定解决问题的明细和需要用到的资源，然后再回溯至数据层面，直至源数据层。

4、实施商业智能工具和用户接口。由于商业智能市场的成熟，使得很少公司需要自己去研发商业智能工具，选择商用的工具即可。实施正确的商业智能工具和用户接口是关于正确的辨识工具和用户。关于工具和用户接口有以下几项：查询和报表工具、在线分析处理工具（OLAP）、证析应用、实施管理面板和计分卡、性能管理工具、预测分析与数据挖掘工具、可视化和发掘工具。商业智能工具和用户接口对应图如下：

5、监控和调整数据仓储的流程。透明性和可视性是DW_BIM监控的关键因素，将越多的BI事务明细展现给出来，越多的终端用户将会看见和理解BI所做的事情，而对终端用户的直接人力支持将会减少，从而极大促进BI工作效率的提升。

6、监控和调整BI事务和性能。最好的监控办法是建立一个面向用户的满意度度量因子，平均查询反馈时间、每周度月度的访问用户数等都是比较好的度量因子。

 小结

本章非常清晰的梳理了数据仓库和商业智能的目标、框架、实施方法、监控和调整的方法，在最后做一个小小的总结：

1、企业需要理清数据仓库和商业智能的目标；

2、数据仓库的框架有Inmon和Kimball两个版本，而当前目前比较流行的是Inmon版本，实施的时候也可能综合起来用；

3、实施数据仓库和商业智能需要了解企业的信息需求，以解决商业问题为核心，辅以科学的方法来实施。

4、将数据仓库建设透明化，定义一些指标来监控数据仓库、商业智能的建设和运行状况，根据指标发现问题并依此进行改善。