kettle利用excel文件增量同步一个库的数据(多表一次增量同步)

Posted 2023-03-03 Brrby

利用excel文件增量同步一个库的数据

现在有sqlserver和mysql两个库上的表在进行同步，mysql上的是源表，sqlserver上是目标表。

mysql :

---

sqlserver :

可以看到sqlserver上表的最近一次同步日期分别是
pep表： 2022-10-23 14:19:00.000
stu_info表： 2023-01-01 00:00:00.000
xiaohan1表： 2022-10-23 14:19:00.000

---

1. 获取excel需要同步的表名(读取excel文件)

先创建一个excel内容格式如下：

保存好后，新建一个作业文件命名为"配置文件同步增量数据"，在这个作业文件里创建一个转换控件命名为"获取excel里需要同步的表名"，用来获取excel里需要同步的表信息
接着创建一个转换文件命名为"1.读取需要同步的表数据"，在这个转换文件里创建一个Excel输入控件和一个 复制记录到结果 控件 。excel输入的表格类型选择"Excel 2007 XLSX (Apache POI)"



将名为"1.读取需要同步的表数据"的转换文件保存后，回到名为"配置文件同步增量数据"的作业文件里选择名为"获取excel里需要同步的表名"的转换控件的具体路径

---

2. 循环处理每个表的增量数据同步

在名为"配置文件同步增量数据"的作业文件里再创建一个作业控件命名为"循环处理每个表增量同步"

然后我们就需要新建一个作业文件了，因为一个转换控件对应一个转换文件，一个作业控件对应一个作业文件。
这个作业控件我们可以命名为 “2.表数据增量同步”，内容如下4个步骤：

---

在2.1获取上一步的表名这个对应的文件里：

这个从结果获取记录需要我们去之前的excel输入控件里去复制粘贴，
这个设置变量可以直接点获取字段

---

在2.2获取上一次同步的时间这个对应的文件里：

---查询目标库上对应表在数据同步记录这张表上的最近一次同步日期
---这里是sqlserver的写法，其他数据库的写法照着改
---之前从excel输入控件里读取后就把记录复制到结果里了，excel的表头就成为了变量
SELECT ISNULL(MAX(TBSJ),'1990-01-01') AS TBSJ FROM SYSTEM_SJTBJL A 
WHERE TABLE_NAME='$TARGET_TABLE_NAME'

然后把查出来的每个表的对应的最新同步时间设置为变量。

---

在2.3同步表数据这个对应的文件里：

有一个表输入和表输出，我们不用更新插入的方式。因为更新插入的方式需要获取具体的表字段写死，每个表都不一样，所以我们使用表输入和表输出来同步。

---表输入：(这是mysql的语法)
---查出源表里更新日期大于目标表的最新一次同步时间的数据
---因为这里查出来的日期是  年/月/日  时:分:秒 的格式 
---所以我这里使用  str_to_date 函数是  '%Y/%m/%d %T'  的格式    而不是  '%Y-%m-%d %T'
SELECT * FROM $SOURCE_TABLE_NAME WHERE $TIME_KEY>str_to_date(substr('$TBSJ',1,19),'%Y/%m/%d %T')

---

在2.4记录每次同步的情况到数据同步日志表 这个对应的文件里：

我们更新完了需要马上在SYSTEM_SJTBJL(数据同步记录)这张表里插入对应的表当前同步后的时间，
所以我们只需要用一个执行sql脚本的控件来执行就ok。oracle里insert后是需要commit提交事务才插入成功的。好像sqlserver和mysql都自动提交事务的

---sqlserver的语法
insert into SYSTEM_SJTBJL values('$SOURCE_TABLE_NAME',getdate());

---

最后

记得检查转换控件和作业控件的文件位置对不对，只有循环处理每个表增量同步这个作业控件要勾选"执行每一个输入行"，因为每个表在excel里是一行一行保存读取的，所以这个相当是个循环处理，这也是为什么我们在循环处理每个表增量同步这个作业里写的都是变量来代替表名和字段名的。而获取excel需要同步的表名时不需要勾选，循环处理每个表增量同步这个作业控件对应的作业文件底下的转换控件也不用勾选。

---

所有都保存了后

我们执行主作业后