OLAP --ODS 项目总结 -- 说说缓慢变化维

Posted 2020-08-16

如果不是OLAP 系统或者BI系统，我们在生产环境下常遇到这样的问题 需要同步两个表。比如交通驾驶人，每个月需要同步。

表O_DRIVER_SOURCE 是来自第三方的源表，O_DRIVER_TARGET是本系统需要使用的目标表。现在需要同步这两个表很容易想到的

解决方案是

　　1.使用存储过程，有点复杂

　　2. merge into 语句

　　

Merge into target O_DRIVER_TARGET

Using O_DRIVER_SOURCE

On ( O_DRIVER_SOURCE.driver_id=O_DRIVER_TARGET.driver_id)

When matched then

Update

Set O_DRIVER_TARGET.info=O_DRIVER_SOURCE.info

When not matched then

Insert

Values(O_DRIVER_SOURCE.driver_id,O_DRIVER_SOURCE.name,O_DRIVER_SOURCE.info);

         这是一个很简单的原型,但是有个问题，假设 源表删除的数据，需要在目标表中删除，这是个问题。

　　现在如果更复杂些需要定时监控这些表的变化如何解决，基本的步骤如下

　　1. 全表扫描源表。取出ID。

　　2.将ID 在 目标表中对比。

      3.如果存在则更新目标表的字段。如果不存在在插入该表。

　　如果使用的是ORACLE ，使用job + cdc 是一个更佳的解决方案。

 

     现在看看如果在ETL中，这种表如何处理，我们称之为缓慢变化维。

　　现将在Informatic中如何运行的方式 贴一贴。

　　1.SOURCE的定义 O_DRIVER_SOURCE

　　2 SQOUCE QUALIFER :进行过滤

　　3 EXPERESSION ： 增加一列new_flag 记录最新的数据行

　　4 LOOKUP组件查找目标表TARGET :look up 组件，查找数据

　　5 ROUTER组件 : 做数据分发

　　6 UPDATESTRAGE组件 :如果 new_flag 为0 ，则做更新，如果 new_flag 为1 则做插入，如果new_flag为-1 则删除

 　　7 目标表TARGET :O_DRIVER_TARGET

　　转：http://www.cnblogs.com/jerryxing/archive/2012/12/07/2807557.html