数据仓库-数仓分层

Posted 2021-04-24 老李说数据

数据产品经理需要懂的数据仓库基础知识--数仓分层基础知识

|  一 . 数仓分层

数仓分层，有多种方法，有的公司分为三层，有的公司分为四层。但是万变不离其宗，无论分为基层，其原理都是：从原始数据，清洗出中间表，然后基于中间表，清洗出结果表。下图是业内通用的数仓分层架构：

|  二 . ODS层

ODS层，即贴源层。对业务数据进行采集、汇聚、尽可能收集原始业务流程数据，与业务系统基本保持一致，仅做简单整合、数据格式处理，不做深度清洗加工

|  三. DW层

DW层， 对全历史过程数据进行建模存储。 对ODS层数据重新组织，定义一致的指标、维度。 各业务板块、业务域按照统一规范独立建设，从而形成统一规范的标准业务数据体系。这一层细分为DWD层和DWS层，分别为明细数据和汇总数据。采用维度建模的方法，更多地采用维度退化手法，将维度退化至事实表中，减少事实表和维表的关联，提高明细数据表的易用性，同时在汇总数据层，加强指标的维度退化，采取更多的宽表手段构建公共指标数据层，提升公共指标的复用性，减少重复加工。

DWD层，记录的是一些业务过程数据，面向业务过程建模，而DWS记录的是汇总数据，面向分析主题建模，比如商品域的数据，统一建模汇总。

|  四 . ADS层

ADS层，面向具体业务场景建模，比如数据报表、数据指标等具体的数据需求。

|  五. 数据流向

数仓各个层级之间的数据流向，需要严格控制，严禁为了赶进度，ADS层直接去ODS取数据。各层数据流向如图：

|  五.主题域

主题域是统一数仓DW层的顶层划分，是一个较高层次的数据归类标准。一个数据对应一个宏观分析领域，比如交易域、商品域等。数据域提炼出后，不能轻易变动。场景的主题域有：