数据仓库和商业智能DW/BI

Posted 2021-04-20 七分堡饭

  前言

  大数据不是凭空产生的，随着技术的发展，数据积累和数据存储以及计算技术的普世化，使得大数据变得火热起来。而为大数据发展的基石还是要去了解和熟悉的。数据从过程来讲，分为采集、传输、存储、预处理、计算、应用以及管理等过程。在这些过程中，设计数据存储的表结构还是使用到了传统的数据仓库的一些技术，BI系统，目前市面上的厂家多以数据操作的便利以及数据可视化作为着力点，而这一切显然是需要建立在数据存储方式的合理设计上。数据仓库是业务系统的数据整合，所以对业务的熟悉程度也会影响到数据仓库的质量，通过对业务的梳理，设计维度以及维度属性，从而确定维度表。

数据仓库的主要内容

 1.数据仓库的建模方法论

ER模型、维度模型、Data Vault 模型、Anchor 模型

  2.架构体系：

以Hadoop、Spark、Hive等组建为中心的数据架构体系、调度系统、元数据系统、ETL系统、可视化系统这类辅助系统、数据监控以及消息通知体系

  3.定位以及目标

规范定义、模型设计

  4.模型设计

操作数据层：ODS、公共维度模型层CDM：明细数据层DWD和应用数据层DWS、应用数据层ADS

  关于数据仓库设计，以维度模型为基础。数据仓库系统和BI报表系统有着天然的联系，同时数据仓库系统和数据挖掘系统以及数据分析系统等也有着不可分割的部分。将不同部分系统化，形成高内聚低耦合的系统。以便快速的应对数据的种种需求。

维度模型

 维度模型中，主要涉及选择业务过程，声明粒度，确认维度和确认事实。了解维度表和事实表的设计和注意事项。

其中维度表的一些相关内容：

 关于事实表的设计。事实表的设计相关内容如下：

 最后  

  时间堆积起来的业务分析内容，经过沉淀出来，成为通用的数据产品或者服务，为数据分析处理添上一点力量，为业务发展奉上一份力所能及。以此总结和反思。