kettle从文本文件输入时怎么拆分字段

Posted 2023-03-28

打开kettle，定义数据源

1
kettle中定义两个数据源，其中“DS_ERP”是来源数据库，“DS_ODS”是用于同步的数据库

END
新建转换，用于同步某一张表

1
新建一个转换（执行SQL脚本--->>表输入--->>表输出）
执行SQL脚本：删除DS_ODS库中已经存在的数据
表输入：查询DS_ERP库中的数据
表输出：将“表输入”中的结果输出到DS_ODS库中

2
执行SQL脚本：删除DS_ODS库中已经存在的数据
$qy_table_name：这个是参数，指同步的表名

3
表输入：查询DS_ERP库中的数据
$qy_table_name：这个是参数，指同步的表名

4
表输出：将“表输入”中的结果输出到DS_ODS库中
$qy_table_name：这个是参数，指同步的表名

END
新建转换，用于获取需要同步的表名

1
新建一个转换（文本文件输入--->>复制结果到记录）
文本文件输入：通过读取指定txt文件，获取所有要同步的表。（这里也可以通过其他方式获取，例如通过sql查询数据库系统表）

2
指定txt文件路径

3
定义txt文件中的字段名，同上一步中定义的参数名

4
txt中定义需要同步的表，每行一张表名

END
新建任务，实现批量同步

新建任务，调用前面的转换

其中，同步表的转换需要设置循环执行，并将获取到的表名传递到转换内部 参考技术A 怎么拆分字段

kettle列拆分多行运用

kettle列转行是把一个列通过分隔符拆开，转成多行的功能

案列链接：

https://pan.baidu.com/s/1i4Zw7VB

 1.表输入通过查询数据库，得到输出字段name和password

 2.再通过列转行，用"|"把name字段进行分割

 3.用文本文件选择字段进行输出测试查看