ETL全量单表同步简述

Posted 迢迢

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ETL全量单表同步简述相关的知识,希望对你有一定的参考价值。

ETL全量单表同步简述

1. 实现需求

当原数据库的表有新增、更新、删除操作时,将改动数据同步到目标库对应的数据表。

2. 设计思路

设计总体流程图如下:

 

注意点:

1、数据库合并时,选择正确的数据源。

 

2、不要选“简易转换”。

 

2.1. 软件安装

1、Jdk

2、Kettle同步工具

说明:

kettle7版本要求jdk必须为1.8以上。

详细可参考官网:http://community.pentaho.com/projects/data-integration/

以上是关于ETL全量单表同步简述的主要内容,如果未能解决你的问题,请参考以下文章

2020-07-21:简述redis主从同步的过程。

云享团——基于大数据开发套件的增量同步策略

基于现在接触的ETL工具(datax和kettle)做个小总结

数仓第5篇:『数据魔法』ETL

数仓第5篇:『数据魔法』ETL

数据库,增量同步和全量同步是啥?