kettle 表输入 对结果集进行操作

Posted 2023-04-27

表输入组件查询出需要的数据结果集，如何对结果集进行遍历，如字段选择组件可做一些简单的数据类型转换，日期格式转换
难点：如何循环读取表输入的每一行数据流

1. 单数据源输入，直接用sql 做连接
2. 多数据源输入，（可能是文本或是两个以上源数据库），用database join 操作.
3. 三个表以上的多字段输出.
2. Kettle的数据库连接模式
Kettle的数据库连接是一个步骤里面控制一个单数据库连接，所以kettle的连接有数据库连接池，你可以在指定的数据库连接里面指定一开始连接池里面放多少个数据库连接，在创建数据库连接的时候就有Pooling 选项卡，里面可以指定最大连接数和初始连接数，这可以一定程度上提高速度. 参考技术A 课表设计得很漂亮，但是这个课不算多，计算机的课才是真的多，基本上没有一天能睡懒觉，下午也是好多课，你这个周六是选修课吧，周六上课确实累

union和union all的区别

 

union : 对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序;

union all:  对两个结果集进行并集操作,包括重复行,不进行排序;

intersect : 对两个结果集进行交集操作,不包括重复行,同时进行默认规则的排序;

minus : 对两个结果集进行差操作,不包括重复行,同时进行默认规则的排序;

可以使用order by 进行排序

从效率上来讲: 由于union在表连接时会筛选重复的行,而且会按照字段的顺序进行排序,所以union比union all效率高,

如果确认合并的两个结果集中不包括重复的行而且不需要排序的话,可以用union all