kettle 6.1 按时间循环增量抽取数据

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kettle 6.1 按时间循环增量抽取数据相关的知识,希望对你有一定的参考价值。

场景:假设有一张表数据量很大,需要按一个时间来循环增量抽取

 

方法:主要是通过JOB自身调用,实现循环调用,类似于 函数自调用 的循环。

 

1.JOB全图:

2.获取增量时间,并设置增量时间环境变量

3.通过增量环境变更,获取本次 增量数据

4.判断增量时间是否大于当前时间,判断是否继续执行一次的增量

 

5.调用总JOB自身,实现循环调用

 

以上是关于kettle 6.1 按时间循环增量抽取数据的主要内容,如果未能解决你的问题,请参考以下文章

Kettle实现ES到ES循环增量抽取

怎么使用kettle进行增量数据的抽取

etl工具,kettle实现循环

kettle实现单表增量抽取

kettle实现单表增量抽取

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(同构数据抽取)