KETTLE如何实现实时的增量更新

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了KETTLE如何实现实时的增量更新相关的知识,希望对你有一定的参考价值。

参考技术A

    假设你的表里有唯一标示ID或者是时间戳,以下以唯一标示ID为例(时间戳同理) 总体结构 表输入 表输入从目标表中取出最大ID 表输入2 取出源表中ID大于目标表最大ID的所有记录,注意勾选替换SQL中的变量,如图 表输出 输出到目标表

以上是关于KETTLE如何实现实时的增量更新的主要内容,如果未能解决你的问题,请参考以下文章

kettle数据同步如何更新

Kettle增量插入更新所有数据都拒绝情况处理

Kettle增量插入和更新

Kettle实现ES到ES循环增量抽取

sphinx 增量索引 实现近实时更新

sphinx增量索引和主索引来实现索引的实时更新