数据仓库模型ETL架构(DWI/DWR/DM)
Posted muphy
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据仓库模型ETL架构(DWI/DWR/DM)相关的知识,希望对你有一定的参考价值。
1.DWI
DWI:数据湖、数据砥柱,一般存放在HDFS
数据仓库的基础数据来源,各种杂七杂八的数据
关键点:数据清洗、数据整合、异常处理、增量获取
ETL:E-数据抽取、数据清洁、格式转换,T-生成代理键ID、遵循三范式,L-数据加载
2.DWR
DWR:数据仓库的中间层,星型结构
根据业务划分:维度数据(区域、项目、工厂等)、交易数据(存量、发货、订单等)
3.DM
DM:数据市场
按照业务组划分为9大责任中心(区域、系统部、集团、运营商、企业网、消费者、费用中心、DM Base、DM Sum、DM high level fact)
业务中正真值钱的数据应该是DM,数据分析预警等系统一般就是根据DM数据为基础做定制化分析
以上是关于数据仓库模型ETL架构(DWI/DWR/DM)的主要内容,如果未能解决你的问题,请参考以下文章