《数据中台实战》：数据中台的分层建模体系

Posted 2021-06-29 文宇肃然

数据中台数据模型的分层，业界比较通用的分层方式是将数据模型分为5层：①ODS（Operate Data Store，操作数据层）、②DIM（Dictionary Data Layer ，维度数据层）、③DWD（Data Warehouse Detail ，明细数据层）、④DWS（Data WarehouseService，汇总数据层）、⑤ADS（Application Data Store，数据应用层）。

 

各层数据模型之间的关系如图1-1所示。

 

 

图1-1  分层模体系

第一层是ODS和DIM层。ODS层数据是数据仓库的第一层数据，是业务数据库的原始数据的复制，例如，每条产品线的用户信息、订单信息等数据一般都是原封不动地同步到数据中台的ODS层中。ODS层的作用是在业务系统和数据仓库之间形成一个隔离层，在数据中台进行计算任务时，可以以ODS层的数据为基础进行计算，从而不给业务数据库增加负担。DIM层存储的是维度数据如城市、省份、客户端等维度的数据。

第二层是DWD。DWD层数据是数据仓库的第二层数据，一般是基于ODS和DIM层的数据做轻度汇总。DWD层储存经过处理后的标准数据，需要对ODS层数据进行再次清洗（如去空/去脏数据、去超过极限的数据等操作）。DWD层的结构和粒度一般与ODS层保持一致，但是DWD汇总了DIM层的维度数据，比如在ODS层只能看到客户端的ID