Kettle Pentaho 通过最新数据进行备份转换

Posted 2023-04-18

【中文标题】Kettle Pentaho 通过最新数据进行备份转换

【英文标题】：Kettle Pentaho backup transformation by latest data

【发布时间】：2016-11-16 18:08:41

【问题描述】：

我需要使用水壶/勺子转换将一些数据从数据库同步到另一个数据库。逻辑是我需要选择目标数据库中存在的最新日期数据。然后从最后日期的源数据库中选择。我需要什么转换元素来做到这一点？

谢谢。

【问题讨论】：

目标表和源表中是否有时间戳列？

【参考方案1】：

可以有很多解决方案：

如果源表和目标表中都有时间戳列，则可以执行两个表输入步骤。在第一个中，只需选择最大上次更新时间戳，将其用作下一个表输入中的变量，将其用作源数据的过滤器。你可以这样做：

如果您只是希望在目标表中更新新数据并且不太关心时间戳，我建议您使用插入/更新步骤进行输出。它将所有数据带到流中，如果找到匹配项，则不会插入任何内容。如果找不到匹配项，它将插入新行。如果它发现对目标表中现有行的任何修改，它将相应地更新它。

【讨论】：

我使用 pdi 版本 6。数据正在增长，我需要对其进行过滤。如何将表格输入用作其他表格输入的变量？我知道我们可以通过使用“？”来使用参数化查询但我不知道怎么做。你有小提琴或屏幕截图的例子吗？