数据仓库分层(五层,从上到下数据量依次越来越少)

Posted 闭关苦炼内功

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据仓库分层(五层,从上到下数据量依次越来越少)相关的知识,希望对你有一定的参考价值。

数仓分层

数据仓库分层(五层,从上到下数据量依次越来越少)

ODS(Operation Data Store)原始数据层

原始数据层:存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。

DWD(date warehouse detail)明细数据层

明细数据层:对ODS层数据进行清洗(去除控制,脏数据,超过极限范围的数据)、脱敏等。保存明细数据,一行信息代表一次业务行为,例如一次下单。

DWS(data warehouse service)服务数据层

服务数据层:以DWD为基础,按天进行轻度汇总。一行信息代表一个主题对象一天的总行为,例如一个用户一天下单次数。

DWT(date warehouse Topic)服务主题层

服务主题层:以DWS层为基础,对数据进行累积汇总。一行信息代表一个主题对象的累积行为,例如一个用户从注册那天开始至今一共下了多少次单。

ADS(Application Data Store)数据应用层

数据应用层:为各种统计报表提供数据。


数仓为什么要分层?
(1)把复杂问题简单化:将复杂的任务分解成多层来完成,每一层处理简单的任务,方便定位问题。

(2)减少重复开发:规范数据分层,通过的中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。

(3)隔离原始数据:不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。

以上是关于数据仓库分层(五层,从上到下数据量依次越来越少)的主要内容,如果未能解决你的问题,请参考以下文章

微信小程序云开发— “对数据库数据进行排序(orderBy)”

在二维数组中查找一个数,二维数组是从左到右,从上到下依次递增

C#刷剑指Offer | 从上到下打印二叉树

数据仓库数仓分层设计架构

面试题32:从上到下打印二叉树

华为软件测试工程师面试题