数据仓库模型ETL架构(DWI/DWR/DM)

Posted muphy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据仓库模型ETL架构(DWI/DWR/DM)相关的知识,希望对你有一定的参考价值。

1.DWI

DWI:数据湖、数据砥柱,一般存放在HDFS

数据仓库的基础数据来源,各种杂七杂八的数据

关键点:数据清洗、数据整合、异常处理、增量获取

ETL:E-数据抽取、数据清洁、格式转换,T-生成代理键ID、遵循三范式,L-数据加载

2.DWR

DWR:数据仓库的中间层,星型结构

根据业务划分:维度数据(区域、项目、工厂等)、交易数据(存量、发货、订单等)

3.DM

DM:数据市场

按照业务组划分为9大责任中心(区域、系统部、集团、运营商、企业网、消费者、费用中心、DM Base、DM Sum、DM high level fact)

 技术图片

 

业务中正真值钱的数据应该是DM,数据分析预警等系统一般就是根据DM数据为基础做定制化分析

以上是关于数据仓库模型ETL架构(DWI/DWR/DM)的主要内容,如果未能解决你的问题,请参考以下文章

融360 大数据架构数据仓库

大数据数据仓库-微软BI SSIS ETL 控件与案例

实习推荐|中国移动-数据仓库/ETL/BI工程师作业帮-大数据ETL工程师

数据仓库的架构

数据仓库设计要点

ETL (数据仓库技术)