Kettle 使用教程—入门

Posted 2023-02-03 沙漏无语

大数据的开发过程中使用的是Kettle为6.1.0版本

简介

Kettle是一款纯Java开发的ETL工具，它是跨平台的，所以它可以在Window、Linux、Unix上运行。注意什么是ETL，读者可以自行百度了解，我的理解是将一个数据库的数据导入到另外一个数据库中，当让这种说法并不严谨，因为数据传输过程中肯定还有很多转换步骤。我们可以在它的官网上下载最新的工具包，也可以在Github上面下载Kettle的源码。

启动Kettle界面

我们从官网下载Kettle的压缩包之后解压到自己想要的目录中，我们可以看到Kettle中根目录叫做data-integration，打开这个文件夹我们可以看到很多脚本，因为我们是在Windows下使用，所以主要关注.bat结尾的脚本。

上面我标示出了四个主要的.bat文件，其中Spoon.bat是与用户界面有关的，我们点击Spoon.bat就可以启动Kettle的用户界面了。 （ps：忘记说了，Kettle是Java写的，所以请务必配置好jdk，不然肯定无法正常使用的）

新建转换（Transformation）

现在假设我们要新建一个转换，它实现的功能是将mysql中的两张表做Join操作，然后将处理的结果集写入到目标表中，我们来看看如何实现这些步骤。

• 我们点击菜单栏的文件->新建->转换

  

• 新建一个转换之后会打开一个画布，我们可以在上面添加步骤（Step）

  

  在左边我标红的地方有很多文件夹，这些文件夹中有很多不同功能的组件，比如我们首先要从源表一中抽取数据，这个步骤在表输入目录下，我们可以点击表输入文件夹来看看。

  

  这个表输入组件我们可以直接拖入到右边的画布中。

  

• 编辑表输入 双击上面的表输入步骤会弹出下面这个对话框

  

  上面的表输入对话框中有很多可以修改的属性，有些我也不是很清楚，我将我了解到的说明一下吧。 步骤名称：该属性应该很好理解，就是该步骤的一个名称，但要注意的是一个转换中的步骤名称应该全局唯一，不能重复。 数据库连接：这个我们新建一个数据库连接，可以选取我们要抽取数据的表 SQL：这个面板中的SQL是根据你数据连接中选中的表动态生成的 记录数量限制：这个属性指的是从源表中抽取多少条数据，默认为0表示数量没有限制，会将源表中所有的数据给抽取出来。

  • 添加JDBC驱动到Kettle的目录 我这里连接的是MySQL，所以需要添加MySQL的JDBC驱动，要注意的是，添加驱动之后需要重启Kettle才能生效。 

• 新建数据库连接 点击对话中的新建按钮

  

  填写数据库连接的一些信息，并点击测试，看是否连接成功，如果有异常看自己的信息是否填写正确，数据库的驱动是否有问题。

  

  这一步做好之后点击“获取SQL查询语句”，选取我们需要的表。

  

  选中表之后会有一个提示框出来

  

  点击是就会在SQL面板中生成新的SQL语句，我的最终显示结果如下：

  

  我们可以点击预览按钮，预览一下我们表中的数据。

  

  这是一个表输入步骤算是完成了，按照上面的步骤我们再新建一个表输入步骤，这里就不再叙述了。

• 新建记录集连接

  记录集连接这个步骤可以实现两张表的join操作，记录集连接在连接目录中，将其拖入到画布中。

  

  接着我们要将“表输入”和“表输入2”连接到“记录集连接”这个步骤上，连接两个步骤的操作方法如下： 按住shift键，将鼠标箭头移至“表输入”上，然后按住鼠标左键并将箭头拖动到记录集连接上，这是一条连线就可以创建成功。 同理连接“表输入2”到“记录集连接”，最终效果如下：

  

  这是我们在点击“记录集连接”步骤，编辑相关属性

  

  上面的操作很清晰，首先选取第一个步骤，然后选取第二个步骤，接着点击对应步骤的获取连接字段，比如我们这里要选取第一个步骤的s_id字段，第二个步骤的s_id字段，两个表通过这个字段做inner join操作。 我们可以通过右键来删除不需要的字段：

  

  修改好之后点击确定：

  

*新建表输出步骤

将表输入步骤拖入到画布中，表输出步骤在输出目录中

编辑表输出步骤

这里要注意的是，要点击下面的SQL按钮，他会创建或者修改目标表，如果不点这一步的话因为目标表可能不存在或者字段不对应会导致数据插入异常。

• 保存步骤并运行 点击画布上的小三角会弹出运行的对话框，然后点击启动，任务就会执行。

  

运行结果

转换运行完成之后界面如下所示：

• 日志 日志里面记录了一些运行信息，其中有几个比较关键的输出信息： I：表示从表中读取了多少条数据 O：表示向目标表中写入了多少条数据 R：从之前的步骤中读取了多少条数据 W：向下一个步骤写入了多少条数据 上面的解释可能比较晦涩，因为这涉及到Kettle的数据流向，在后面的文章中我会结合源码进行解释。

• 预览数据 Kettle可以预览每一个Step的部分数据，方便我们进行查看步骤之间的运行情况