以《数据仓库工具箱》书的角度,区分两套分层理论!
Posted 阿泰大数据
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了以《数据仓库工具箱》书的角度,区分两套分层理论!相关的知识,希望对你有一定的参考价值。
个人做过两套数仓项目数仓分层理论并不相同。本人现在进行区别总结!!!
0 1
ODS-DW(DWD-DWS)-ADS
ODS(Operation Data Store 原始数据层),存放原始的数据。直接加载原始数据,原始的日志,数据保持原貌不做处理
DW:英文名Data WareHouse 中文名数据仓库
(
DWD(data warehouse detail 明细数据层) 结构与粒度和ods层相同,对ODS中的数据进行清洗(去null值,脏数据,超过极限范围的值)、
DWS(data warehouse service 服务数据层) 以DWD为基础进行轻度汇总 ,一版聚集到以用户当日、商家当日、设备当日、商品当日等等的粒度
)
ADS(Application Data Store 数据应用层),为报表提供数据。也有的地方叫做app层、DM层等等
0 2
ODS-DW(DWD-DWS-DWT)-ADS
ODS(Operation Data Store 原始数据层) ODS:原始数据层,存放原始数据,直接加载原始日志,数据,数据保持原貌不做处理
DWD(data warehouse detail 明细数据层)DWD层:对ODS层数据进行清洗(去除null值,脏数据,超过极限范围的数据)、维度退化 、脱敏等
DWS(data warehouse service 服务数据层) 以DWD为基础,按天进行轻度汇总
DWT(data warehouse Topic)一DWS为基础,按主题进行汇总
ADS(Application Data Store 数据应用层)ADS层,为各种统计报表提供数据。
此套分层理论基于一本书:
下面是抽取几页关键内容
以上是关于以《数据仓库工具箱》书的角度,区分两套分层理论!的主要内容,如果未能解决你的问题,请参考以下文章