kettle学习 安装部署简单使用

Posted 2021-12-20 zhazhaq

kettle 学习

• 工具的安装
• Navicat 连接mysql使用 网盘里有
• 如下图 连接名为数据库名 主机地址 用户名为mysql 数据库用户名

 

 详细在我的有道云

文档：kettle.安装部署简单使用
链接：http://note.youdao.com/noteshare?id=804e05b445fa7d509f10dcf756bb2025&sub=21FA8DD4DB8A4D00A179617D66C52634

PL/SQL 连接oracle使用 网盘里有

注意：PL/SQL 安装时如果本地没有安装oracle客户端，那么有很多问题要注意

详见：PLSQL Developer连接远程oracle配置（详细解读.note

instantclient-basic-windows.x64-18.5.0.0.0dbru网盘里有

kettle的安装

下载路径https://sourceforge.net/projects/pentaho/files/Data%20Integration/

注意：我们目前安装的是kettle 3.2.0，包括之前的版本必须要求安装JDK1.5版本，否则无法使用，JDK1.5版本网盘里有。windows安装步骤：（1）下载JDK，配置java环境（如果有，这一步可以略过）。（2）下载安装包到自己需要的目录下。（3）解压安装包。（4）解压完成进入解压出来的目录下，点击kettle.exe就可以直接使用（3.2版本只能通过kettle.exe，高版本可以用Spoon.bat）。

Linux安装步骤：（1）下载JDK，配置java环境（如果有，这一步可以略过）。（2）将windows下的安装包通过ftp上传到ECS上的相关目录下。（3）解压安装包。（4）解压完成进入解压出来的目录下，将kitchen.sh、pan.sh和spoon.sh设置成可执行文件（执行语句chmod +x *.sh）,如下图1。（5）输入./kitchen.sh,看输入信息，如下图，则安装成功。

 

filezilla的安装

网盘里有，直接安装即可

Xshell的安装

网盘里有，直接安装即可

kettle的使用

进入安装目录，点击kettle.exe，在弹出的第一个界面，选择“没有资源库”，进入图3界面，有转换和jobs两个选项，右击转换，可以新建转换，主对象树如图4，可以配置数据库连接，核心对象如图5，可以配置抽数转换。

 

图3

 

图4

 

图5

如图6，配置oracle数据库连接：

 

connection name 自己写 test_a

host name 是主机IP 47.110.138.46

datebase name 是主机数据库名称 orcl

port number 是端口号 11521

username password 是用户名和密码 QGTG 123

如图7，配置rds连接：

 

connection name自己写 test_ards

hostname 是主机连接名 

datebase name 是mysql中要连接的数据库名称 

username password 是用户名和密码 

如图8，配置oracle数据源表输入：

 

如图9，配置字段选择：

 

如图10，配置表输出：

 

如图11，运行转换：配置完成后点击运行就可以跑转换，

 

oracle表数据如图12

 

rds表数据如图13，从图中可以看到转换成功了。

 

如图14，配置job工作流，start节点配置调度时间，o_a为之前配置的转换，一个简单的工作流就完成了，可以直接运行了。

 

 

 

注意输入输出包括中间的转换可以用快捷操作shift+鼠标点住平移连接，也可以用hops（节点连接）连接

 

Linux下使用

kettle是平台无关的，我们可以直 接在windows下配置转换和job，上传到linux下执行。上传目录为/root/kettle/ktr_file。

然后在Linux中进入/root/kettle/install_kettle/data-integration目录下执行对应文件，如下图 转换执行kitchen.sh，job执行pan.sh。

 

转换执行步骤：进入安装目录，执行语句，如下图：

 

Job工作流执行步骤：进入安装目录，执行语句，如下图

 

注意：上传之后要记得改目录 因为原本的转换时在windows文件中，而上传后是在Linux文件中，所以要记得对应修改目录，否则会卡住不动

执行job流后，可以去查看数据库中的表是否变化，也可以根据log看是否出错。一切正常后输入指令：ps -ef|grep kettle（这一代码是看当前有多少kettle进程在执行） 查看对应job流的代码，使用kill+代码结束该进程。