ETL工具kettle简单的性能调优

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ETL工具kettle简单的性能调优相关的知识,希望对你有一定的参考价值。

一般有 几项
1.杂项,这个是设置的前一个步骤到下个步骤的缓存,默认是10000
操作为,进入转换,右键点击空白处或者双击空白处,单击的话进入设置,会出现如图
技术分享图片
选择杂项,
技术分享图片
主要设置‘记录集合里的记录数’,可以适当的加大,也不要太大,会对内存造成很大的压力;
2.设置多线程
这种情况需要注意一个地方
技术分享图片
在 下面的步骤度量的最右边有一个Pri/in/out栏,会显示类似这样的结果:a/b,a和b是两个数字,如果a>b,则该步骤极有可能是瓶颈;这时候就可以考虑对它进行多线程,怎么设置呢? 右键点击需要设置的组件,选择复制数量
技术分享图片
在弹出的对话框输入自己需要的数量;不要设置太大,需要大量的内存;

以上是关于ETL工具kettle简单的性能调优的主要内容,如果未能解决你的问题,请参考以下文章

大数据之ETL工具Kettle的--1功能介绍

自己总结的etl数挖掘据工具-Kettle

基于现在接触的ETL工具(datax和kettle)做个小总结

开源ETL工具kettle--数据迁移

ETL工具kettle基本使用

开源ETL工具之Kettle介绍