kettle在linux上的运行方法

Posted 2023-04-12 lfwh

文章目录

• 一、kettle安装部署
• 二、配置kettle任务
• • 1、本机打开kettle :
  • 2.配置转换任务 :
  • 3.配置作业 :
  • 4.本地测试 :
  • 5.linux中执行作业(kjb)的命令
  • • linux中执行转换(ktr)的命令
  • 6.定时任务编辑shell脚本编辑
  • 7.设置定时
• 总结

---

一、kettle安装部署

Kettle安装部署

二、配置kettle任务

1、本机打开kettle :

建立数据库连接, 填写需要连接的数据库地址、端口、账号还有密码，点击测试连接，成功如下图：

2.配置转换任务 :

在表输入和表输出中配置基本信息：

3.配置作业 :

在转换过程中添加刚才的任务，transformation中如果是绝对路径，替换成如下地址>（$Internal.Entry.Current.Directory，转换和作业放在同一目录下）

4.本地测试 :

抽取数据是否成功，成功后将保存的转换和作业放在linux服务器上

5.linux中执行作业(kjb)的命令

kitchen.sh -file=/data/kettle/data-integration/test.kjb

linux中执行转换(ktr)的命令

/pan.sh -file=/usr/local/kettle/bjyd/t_sdrs_xsjbxx.ktr -norep

命令	描述
-file	job或trans文件路径
-norep	标明不是资源库里的文件
-param	参数设置
-logfile	log输出文件名
-level	log级别 (Basic, Detailed, Debug, Rowlevel, Error, Nothing)

6.定时任务编辑shell脚本编辑

#!/bin/sh
JAVA_HOME=/data/jdk1.8.0_281
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
#createDate=`date +"%Y%m%d%H%M%S"`
createDate=`date +"%Y%m%d"`
cd /data/data-integration;./kitchen.sh -file=/data/kettle-sh-day/wlhy/kjb/prod/wlhy-job-driver.kjb >> /data/kettle-sh-day/wlhy/logs/$createDate-wlhy-job-driver.log &

7.设置定时

crontab -e
每天3点执行 00 03 * * * /data/kettle/data-integration/testfile.sh

---

总结

如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波，非常感谢大家！
如果有不对的地方请指正!!!

参考1
参考2

Kettle

Kettle

编辑

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

外文名

Kettle

中文名

水壶

产    品

Spoon、Pan、CHEF、Kitchen

脚本文件

transformation和job，

特    点

绿色无需安装

目录

1. 1 介绍
2. 2 产品家族

介绍

编辑

KETTLE图

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增

多。

产品家族

编辑

Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。

SPOON允许你通过图形界面来设计ETL转换过程（Transformation）。

PAN允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，没有图形界面。

CHEF 允许你创建任务（Job）。 任务通过允许每个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。

KITCHEN允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。