聊聊数据仓库

Posted 2022-11-10 -早起的码农

随着公司业务的扩展，数据处理需求日益增多，业务快速迭代和发展的情况下，建立一套数据仓库的标准化规范设计，融合建模规范、建模实操、数仓大图、数据质量、 衡量指标等为一体的线上建模工具。

    通过数仓建设，我们需要解决以下问题

[]  数据存储的规范性

[]   数据模型的复用性

[]   数据模型的耦合性

[]   数据的完整性

[]   数据查询效率

[]   数据成本可控

       架构师组织搭建，模型管理责任到人；数据模型规范，数仓公共开发规范，数仓各层开发规范，数仓命名规范各层规范有依据查询；模型开发有工具可用；事前评审，事中打分，事后治理。

1 数据分层

数据引入层ODS (Operational Data Store) ：存放未经处理的原始数据，包括埋点上报日志数据，数据库抽取的结构化数据。

明细数据层DWD (Data Warehouse Detail）：主要要完成对ODS层的数据清洗，脱敏，维度退化，压缩格式转化。

汇总数据层DWS (Data Warehouse Summary)：DWS层就是关于各个主题的加工和使用，是宽表聚合值。

数据应用层ADS (Application Data Service)：   ADS层是面向业务定制的应用数据层。

维度层DIM (Dimension):基于维度建模理念，建立整个企业的一致性维度。低基数维度数据：一般是配置表，比如枚举值对应的中文含义࿰