初始Kettle

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了初始Kettle相关的知识,希望对你有一定的参考价值。

初始

Kettle(水壶)是开源的ETL(数据抽取Extract、转换Transform、加载Load)工具,数据抽取和转换工具。Java编写,可在Windows、Linux、Unix上运行,支持各种数据类型放到水壶里。以一种指定的格式流出,ETL工具允许来自不同的数据库的数据,通过图形化用户环境来描述。

Kettle有两种脚本文件,transformation和job,transformation完成数据基础转换,job完成整个工作流控制。

Kettle有三个主要组件:Spoon、Kitchen、Pan

  • Spoon 是图像化界面,可让我们用图像化方式开发转化和作业(Transformation)。Windows选择Spoon.bat;Linux选择Spoon.sh。
  • Kitchen 可用命令方式调用Job,后台执行的程序,无图形化界面。
  • Pan 允许批量运行由Spoon设计的ETL转化。调用Trans,后台执行的程序,无图形化界面。
  • Carte 是一个轻量级的Web容器,用于建立专用、远程的ETL Server

Linux环境安装部署Kettle

Kettle安装部署,将mysql数据通过Kettle写入分析型数据库(ADS),设置定时任务crontab方式,定时Mysql数据 => ADS。

  1. 配置JDK1.8,用SUN的JDK,自行官网下载。
    vim /etc/profile.d/java.sh 
    JAVA_HOME=/usr/java/jdk1.8.0_25
    PATH=$JAVA_HOME/bin:$PATH:$HOME/.local/bin:$HOME/bin
    export PATH

    验证: java -version

  2. 部署kettle
    下载:https://community.hitachivantara.com/docs/DOC-1009855?spm=a2c4g.11186623.2.4.zMdWMo
    解压:ll /data/kettle/data-integration
    验证kettle:/data/kettle/data-integration/kitchen.sh
    出现帮助信息为正确,如图:
    技术图片

  3. 建立作业和转化
    建立目录: mkdir -p /data/kettle/kettle-job
    将windows中建好的作业(.kjb)和转化(.ktr)文件放入/data/kettle/kettle-job文件夹中
    并将.kjb文件中windows的转换路径修改为Linux路径。

  4. 设定定时任务
    用Linux定时任务crontab。
    crontab -l
    #data center crond
    0 1 * * *  /bin/bash  /data/kettle/kettle-job-ads/start.sh >> /data/kettle/kettle-job-ads/kettle.log 2>&1
    0 2 * * *  /bin/bash  /data/kettle/kettle-job-ads/start-s.sh >> /data/kettle/kettle-job-ads/kettle1.log 2>&1

以上是关于初始Kettle的主要内容,如果未能解决你的问题,请参考以下文章

Jekyll 偏移代码片段高亮的初始行

在 Pentaho Kettle 中的步骤初始化之前测试数据库连接?

如何使用 Swift 使用此代码片段为 iOS 应用程序初始化 SDK?

Kettle实现ES到ES循环增量抽取

如何在使用cardview的片段中初始化gridlayoutmanager?

kettle [表输入]选择Oracle数据源时预览错误--需要指定一个数据库连接.错误初始化步骤[表输入 2]Caused by: java.sql.SQLException: ORA-0091