kettle实现单表增量抽取

Posted Brrby

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kettle实现单表增量抽取相关的知识,希望对你有一定的参考价值。

用kettle实现一个表的增量抽取

sqlserver情况


mysql情况


需求整理

可以看到在sqlserver上是有23年6点之后的数据而mysql上只有23年6点前的数据,我们现在要把sqlserver这部分没有抽取过来的数据抽取到mysql上来

  1. 先获取mysql这张表的最大的gxrq并设置变量(注意变量设置为大写)
  2. 通过gxrq这个变量查询sqlserver的数据并输出到mysql上

步骤

  1. 新建一个转换


  1. 再新建一个转换
    变量使用$变量名或者%%变量名%%来书写


  1. 新建一个作业



执行结果结果


以上是关于kettle实现单表增量抽取的主要内容,如果未能解决你的问题,请参考以下文章

kettle-单表增量同步

kettle 6.1 按时间循环增量抽取数据

Kettle实现ES到ES循环增量抽取

怎么使用kettle进行增量数据的抽取

Kettle-7.0增量抽取订单数据

Kettle-7.0增量抽取订单数据