数据仓库分层架构

Posted 2021-03-25 xibuhaohao

数据层的存储一般如下：

Data Source

数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是mysql 和 PostgreSql。

ODS 层

ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。

可将ODS做成一个宽表，结合DW事实表与维度表或更多信息。

DW 层

一般和 ODS 的存储一致，但是为了满足更多的需求，也会有存放在 PG 和 ES 中的情况。

一般DW曾进行维度、事实表设计；根据不同主题设计维度表与事实表。

APP 层

应用层的数据，一般都要求比较快的响应速度，因此一般是放在 Mysql、PG、Redis中。

一般DH曾，数据集市，针对不同用户，实现数据隔离。存储聚合数据。