kettle转换提高性能拆分转换步骤_20161201

Posted 2020-08-21 Mr_Cxy

今天是12月1号,前期用kettle做了月报自动报表的转换和作业,今天运行时候发现一个报表的程序跑起来失败,心里很纳闷，上过月刚跑的没问题,怎么会无缘无故的失败。

通过看kettle运行日志,发现一个错误,c盘left no space 也就是在系统盘上没有足够的空间存储临时表,这时候才考虑到可能是在转换的步骤里设置的步骤过多,有很多个表输入,

由于kettle输出执行顺序是自上而下,但是输入是无序的,在很多步骤同时输入的时候就会占用很大的内存,性能就会很慢。

打开那个出问题的kettle转换文件,才发现自己在这个转换里添加了接近70个步骤,也怪前期没有了解这块,因此尝试分解步骤,把一个转换拆分成多个转换，每个转换的步骤数调试控制在不会报错的结果,下午测试成功,又积累了一个经验。

 

作业执行的时候也是按照那个顺序去执行因此整个流程下来很清晰