数据仓库之建设流程

Posted 2022-06-03 yewu123

一、数据仓库实施流程：

梳理指标体系：
根据公司实际指标体系，简单的做下总结

• 确定数据来源 如哪些业务系统，订单、商品、库存、供应商、合作商、采购、营建、资产、运营等系统。
• 确定各系统的数据体系 如现制商品数、外购商品数、等效商品数、客均商品数、响应时长、超时时长、外送时长、准时率等。
• 数据域划分
  如用户域（用户注册、用户消费、用户留存）、流量域（用户下载、用户启动、用户使用（页面访问、下单、分享、点击）、用户下单）、订单域（订单、订单商品、订单制作、订单配送、订单评价）、
  商品域（商品SKU、商品类目、商品配方）、结算域（收入、成本、增值税）、门店域（门店基础、门店人员、门店地址）、供应链域（门店库存、仓库库存、损耗）
  二、数据仓库模型设计
  
• 数据仓库整体采用Kimball维度建模的方式，主要有两点：
  1>、维度建模能够快速响应业务需求的变化
  2>、可以采用增量的方式进行开发，按数据域进行增量开发
• 维度表设计规范
  1> 每个拉链表生成唯一的代理健，代理健以_key结尾
  2> 每个维表生成一个特殊行，避免事实表数据丢失以及处理迟到维情况
  3> 尽可能的宽（反规范化）、包括可能的维度属性，减少关联并且保证一致性
  4> 维表属性划分按照自然属性进行划分，即属性不需要通过事实表进行建立关系的应放在同一个维表中
• 事实表设计规范
  1> 将每个业务过程用独立的事实表来存放
  2> 将常用的维度采用退化维保留在事实表中
  3> 尽可能保留最细粒度的事实数据
  4> 尽量将不可加事实拆分成可加事实事实表划分依据：
• 事实表划分依据
  a、事实是否同时发生
  b、事实表的粒度是否相同