数据仓库分层(五层,从上到下数据量依次越来越少)
Posted 闭关苦炼内功
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据仓库分层(五层,从上到下数据量依次越来越少)相关的知识,希望对你有一定的参考价值。
文章目录
数仓分层
数据仓库分层(五层,从上到下数据量依次越来越少)
ODS(Operation Data Store)原始数据层
原始数据层:存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。
DWD(date warehouse detail)明细数据层
明细数据层:对ODS层数据进行清洗(去除控制,脏数据,超过极限范围的数据)、脱敏等。保存明细数据,一行信息代表一次业务行为,例如一次下单。
DWS(data warehouse service)服务数据层
服务数据层:以DWD为基础,按天进行轻度汇总。一行信息代表一个主题对象一天的总行为,例如一个用户一天下单次数。
DWT(date warehouse Topic)服务主题层
服务主题层:以DWS层为基础,对数据进行累积汇总。一行信息代表一个主题对象的累积行为,例如一个用户从注册那天开始至今一共下了多少次单。
ADS(Application Data Store)数据应用层
数据应用层:为各种统计报表提供数据。
数仓为什么要分层?
(1)把复杂问题简单化:将复杂的任务分解成多层来完成,每一层处理简单的任务,方便定位问题。
(2)减少重复开发:规范数据分层,通过的中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。
(3)隔离原始数据:不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。
以上是关于数据仓库分层(五层,从上到下数据量依次越来越少)的主要内容,如果未能解决你的问题,请参考以下文章
微信小程序云开发— “对数据库数据进行排序(orderBy)”