ETL-kettle-阻塞数据(执行sql脚本)/阻塞数据直到数据都完成
Posted 栗子~~
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ETL-kettle-阻塞数据(执行sql脚本)/阻塞数据直到数据都完成相关的知识,希望对你有一定的参考价值。
阻塞数据作用:
阻塞数据一般和执行sql脚本联合使用,用于阻塞前面流中数据。只留最后一条数据通过数据阻塞环节到被执行sql脚本环节执行,如图:
执行sql脚本控件的作用:
一般是做更新和删除的操作。
注意:执行sql操作的优先级非常高,如果不在执行每一行处打钩,它会在转换开始的时候就运行,因此,我们在 执行sql脚本的配置如图,在[执行每一行和替换变量处]打钩,并联合阻塞数据合用,达到只通过最后一条数据被sql脚本执行。
阻塞数据直到数据都完成作用:
用于阻塞步骤使用,如:在转换内,将并行处理的转换制作成有先后之分。
注意:
在转换过程中。转换的处理是并行开始的,因此当涉及到在当前转换内有顺序的需求时,可以使用阻塞数据直到数据都完成控件。
例子:
用Block this step until ods_sys_user_err 来阻塞ds_sys_user_ElasticSearch_ERRNUM控件 ,如图1。
效果:在ods_sys_user_ElasticSearch_ERRNUM控件执行完毕后才会执行Blocking Step,
Block this step until ods_sys_user_err 阻塞步骤内容如图2。
图1
----------------------------------------------------------------------------------------
图2
以上是关于ETL-kettle-阻塞数据(执行sql脚本)/阻塞数据直到数据都完成的主要内容,如果未能解决你的问题,请参考以下文章
ETL-kettle报错--org.gjt.mm.mysql.Driver