数据仓库 表的分类与同步策略

Posted 2020-12-13 noyouth

表的分类

实体表：一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。

维度表：一般是指对应一些业务状态，编号的解释表。也可以称之为码表。比如地区表，订单状态，支付方式，审批状态，商品分类等等。

事务型事实表：一般指随着业务发生不断产生的数据。特点是一旦发生不会再变化。一般比如，交易流水，操作日志，出库入库记录等等。

周期型事实表，一般指随着业务发生不断产生的数据。与事务型不同的是，数据会随着业务周期性的推进而变化。比如订单，其中订单状态会周期性变化。再比如，请假、贷款申请，随着批复状态在周期性变化。

 

同步策略

实体表同步策略：实体表数据量比较小，通常可以做每日全量，就是每天存一份完整数据，即每日全量。

维度表同步策略：维度表数据量比较小，通常可以做每日全量，就是每天存一份完整数据，即每日全量。

事务型事实表同步策略：因为数据不会变化，而且数据量巨大，所以每天只同步新增数据即可，所以可以做成每日增量表，即每日创建一个分区存储。

 

周期型事实表同步策略：这类表从数据量的角度，存每日全量的话，数据量太大，冗余也太大；如果用每日增量的话无法反应数据变化；每日新增及变化量，包括了当日的新增和修改。一般来说这个表，足够计算大部分当日数据的。但是这种依然无法解决能够得到某一个历史时间点（时间切片）的切片数据。 所以要用利用每日新增和变化表，制作一张拉链表，以方便的取到某个时间切片的快照数据。所以我们需要得到每日新增及变化量。