HIVE- SCD缓慢变化

Posted 2021-02-16 rzcong

SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。

解决方式：

• 是否保留历史数据
• 保留多久历史数据
• 历史状态如何与事实表关联

SCD1 保留最新状态

注册日期	用户编号	手机号码
2019-01-01	0001	111111
2019-01-01	0002	222222
2019-01-01	0003	333333
2019-01-01	0004	444444

 

注册日期	用户编号	手机号码	备注
2019-01-01	0001	111111	111111
2019-01-01	0002	233333	（由22222变成23333）
2019-01-01	0003	333333
2019-01-01	0004	433333	（由44444变成43333）
2019-01-02	0005	555555	（2019-01-02新增）

缺点：没有任何历史状态，历史发生的事情无法追溯，企业中不关心历史状态的数据，可以使用SCD1

SCD2 保留所有历史状态

 

 

注册日期	用户编号	手机号码
2019-01-01	0001	111111
2019-01-01	0002	222222
2019-01-01	0003	333333
2019-01-01	0004	444444

注册日期	用户编号	手机号码	备注
2019-01-01	0001	111111	111111
2019-01-01	0002	233333	（由22222变成23333）
2019-01-01	0003	333333
2019-01-01	0004	433333	（由44444变成43333）
2019-01-02	0005	555555	（2019-01-02新增）