数据仓库 数据中心相关技术知识和生态相关了解

Posted 简简单单OnlineZuozuo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据仓库 数据中心相关技术知识和生态相关了解相关的知识,希望对你有一定的参考价值。

文章目录

数据仓库 、数据中心相关技术知识和生态相关了解


1、数据仓库 数仓


数仓的分层

1、ODS 层:Operation Data Store    原始数据层   加载原始数据不做处理
2、DWD 层:Data Warehouse Detail   明细数据层   对 ODS 层数据进行清洗,去除空值、脏数据、超过极限范围的数据,对敏感数据进行脱敏
3、DWS 层:Data Warehouse Service  服务数据层   以 DWD 数据为基础,按天进行轻度汇总
4、DWT 层:Data Warehouse Topic    数据主题层   以 DWT 数据为基础,按主题进行汇总
5、ADS 层:Application Data Store  数据应用层   为各种报表提供数据

分层的目的
1、简化复杂任务,方便定位问题
2、减少重复开发
3、隔离原始数据

数据集市(Data Market)和数据仓库
1、数据集市是数据仓库的 Mini

创作打卡挑战赛 赢取流量/现金/CSDN周边激励大奖

以上是关于数据仓库 数据中心相关技术知识和生态相关了解的主要内容,如果未能解决你的问题,请参考以下文章

数据仓库的结构

4万字全面掌握数据库, 数据仓库, 数据集市,数据湖,数据中台

4万字全面掌握数据库, 数据仓库, 数据集市,数据湖,数据中台

4 万字全面掌握数据库数据仓库数据集市数据湖数据中台

数据仓库与数据集市的概念区别

数据仓库相关术语 对你运用Hive或者ETL有非常大的理解