ETL工具kettle基本使用

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ETL工具kettle基本使用相关的知识,希望对你有一定的参考价值。

转自:http://blog.csdn.net/sunggff/article/details/64442171

1.下载kettle:https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download

说明:kettle 是pentaho收购的一个etl工具,pentaho是一家BI解决方案的商业公司。

2.解压文件:pdi-ce-7.0.0.0-25.zip,执行:spoon.bat

3.在mysql中创建两个数据库:test1和test2,在test1中创建user1表,在test2中创建user2表用来测试

技术分享技术分享

3.测试操作数据库test1中的user1表和数据库test2中的user2表

3.1 新建一个转换(transformation),点击DB连接,选择对应数据库类型,创建两个连接:l1,l2.

技术分享

 

若测试连接出现错误:

错误连接数据库 [localhost_3306] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database
 
Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the ‘MySQL‘ driver (jar file) is installed.
org.gjt.mm.mysql.Driver
将mysql-connector-java-5.1.38-bin.jar拷贝至目录:pdi-ce-7.0.0.0-25\data-integration\lib下 ,重启程序,新建DB连接:
 
技术分享
3.2 在【核心对象】下的【输入】中找到【表输入】,双击鼠标左键将【表输入】添加到“转换的图形视图”中,然后在【输出】找到【插入/更新】添加到“转换的图形视图”中,效果如下:
 
技术分享技术分享
 
3.3 在视图中双击【表输入】,选择输入数据库和修改所需SQL查询语句:
 
技术分享
 
3.4  双击【插入/更新】,选好要插入的数据库和表,再点击【获取字段】,【获取和更新字段】:
技术分享
 
3.5 此时,可点击【运行】或F9,执行此转换,成功后的user2表如下图:
技术分享
 
3.6 设置定时执行转换:新建一个job,将【START】和【转换】添加到视图中,设置关联转换文件和定时时间:
技术分享
 
设置好后,点击【运行】,就会根据你设置的时间间隔来执行相应的“转化”了。
技术分享
技术分享
 

 



以上是关于ETL工具kettle基本使用的主要内容,如果未能解决你的问题,请参考以下文章

ETL之Kettle

大数据之ETL工具Kettle的--1功能介绍

自己总结的etl数挖掘据工具-Kettle

开源ETL工具比较,Kettle和Talend,都有啥优势和劣势

开源ETL工具比较,Kettle和Talend,都有啥优势和劣势

开源ETL工具之Kettle介绍