hive建模分析

Posted 2021-09-29 eason

建模分析

• 基于访客系统的案例来进行讨论

建模分析目的

• 分析出整个数仓需要哪些层次，哪些表，哪些字段

• ODS层：源数据层

  • 对接源数据，保持和源数据相同粒度

• DWD

  • 任务：

  • 1.清洗。

    • 不完整数据
    • 过期或者无效数据

  • 2.转换

    • create_time->年月日
    • 或时间戳
  • 3.可以适当维度退化，减少表的关联

• DWM：中间层

  • 进一步对明细层进行聚合，譬如可以将日的记录先合并，在后期记录月时可以更方便的合并

• DWS: 业务层

  • 细化聚合统计，

• APP:应用层

  • 对细化统计结果再次分析
  • 可以省略

• DIM：维度层

  • 放置维度表数据