kettle-单表增量同步

Posted cyt1153

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kettle-单表增量同步相关的知识,希望对你有一定的参考价值。

目标:利于kettle实现单表增量同步,以时间为判断条件

背景:源表:db1.q1 (2w条数据) 目标表:db2.q2(0条数据)

表结构:

CREATE TABLE `q1` (
  `ID` bigint(20) NOT NULL AUTO_INCREMENT,
  `anlage` varchar(20) DEFAULT NULL,
  `card_count` int(11) DEFAULT NULL,
  `card_id` varchar(30) DEFAULT NULL,
  `card_no` varchar(30) DEFAULT NULL,
  `card_remark` varchar(5) DEFAULT NULL,
  `company_code` varchar(20) DEFAULT NULL,
  `do_code` varchar(10) DEFAULT NULL,
  `updatetime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb4;

 

kettle 转换图:

 

过程:

1.新建转换-表插入-

 

以上是关于kettle-单表增量同步的主要内容,如果未能解决你的问题,请参考以下文章

使用Kettle多表数据增量导入详细文档

使用Kettle多表数据增量导入详细文档

kettle实现单表增量抽取

kettle实现单表增量抽取

多表数据增量导入详细文档

使用Kettle工具进行增量数据同步