ODI利用goldengate实现增量数据捕获

Posted 2020-07-08 lclc

ODI利用goldengate实现增量数据捕获

上个月，Oracle发布了ODI的最新版本10.1.3.6_02,其中增加了针对采用goldengate获取源数据库增量变化的知识模块，这样当系统需要实时数据仓库时，我们从源数据库抽取增量数据，就完全可以利用goldengate从数据库的日志中抽取，避免了对源数据库系统的影响，以前采用streams或者logminer抽取增量时，需要在源数据库部署stream，需要DBA权限，很多管理员都有抵触情绪，怕影响生产系统，goldengate在源数据库中抽取增量时，在源数据库系统上不需要部署任何东西，它只需要一个普通用户从数据库获取元数据，该用户至少有connect，resource，select  any table，select any dictionary权限。具体的配置请参见下图：

 

1. 1.      我们在源系统上安装好goldengate，具体安装步骤请参考以前的blog。
2. 2.      在ODI所在的机器上导入相应的知识模块,请到oracle support网站下载相关软件和文档。
3. 3.      象操作其它ODI中的CDC一样，添加日志表，配置知识模块的相关参数，ODI会自动生成相关goldengate的配置文件。
4. 4.      Goldengate在源端抽取时，在ODI的临时存储区（staging area）会存有两份数据，一份是和源一模一样的一份数据，另一份是原来在源数据库上部署的临时表和视图），goldenate会将增量数据从源端日志抽取出来，同时更新临时区的两套表，至此，增量数据的抽取完成。

5.      ODI利用和其它抽取方式一致的机制对增量数据进行转化，加载。