ETL工具kettle的数据分发和复制的区别

Posted 2021-01-01

大家在实际 操作过程中可能会出现一个这样的情况，当你将一个组件与另一个组件进行连接时，会出现一个告知框，如图

这时候会让你选择分发或者复制，这时候很多朋友会疑惑，这俩有啥区别呢；当你的目标组件是单线程时，选谁没区别，什么叫目标组件和单线程呢，我这样解释
如图：

当你从表输出到更新时，更新就是目标组件，这时更新的组件左上方没有出现数字时就是单线程，当出现数字时就是多线程，如图

咱们继续复制和分发，怎么区分是复制还是分发呢，很简单

第一个连接就是 分发，第二个就是复制，复制有一个书页的标志；
这两种方式的区别是，分发会将一份数据按照发扑克牌一样分给下一个组件，数据始终都只有一份，而复制则是不一样，他会将一份数据复制n份给下一个组件，而这个N是多少呢取决于下一个组件的数量，举两个例子


图一和图二中的n都是2，当图二中的两个更新完全一样时就相当于图一，这时数据有两份；

同样再来两张图


这种就是分发，会将一份数据尽量平均的分给两个更新，这时数据有一份；
另外怎么设置这个方式呢？鼠标右键点击需要设置的组件，选择数据发送，出现两个选项，如图

Round-Robin代表分发，复制模式就是复制