基于spring-boot的kettle调度

Posted 2023-04-21

参考技术A

大家好，我是帅气小伙，由于最近公司项目辗转大数据，需要做数据抽取的工作，kettle是目前比较成熟的ETL工具，而传统的kettle客户端在任务调度这方面没有实现，于是在网上寻找开源的kettle调度项目。

kettle-manager
专门为kettle这款优秀的ETL工具开发的web端管理工具。貌似源码跑起来比较费劲，各种缺包，于是我为大家专门整理了一下这个项目。全maven管理的
https://github.com/konglinghai123/kettle
如果想学习kettle的可以用我的github项目运行，毕竟我在群里天天发现都有人因为无法运行项目而提问。

kettle的集成

由于kettle-manager是一个完整的web项目，功能也比较多，但是实际应用中，只需用到几个关键的点，就能够实现kettle的web调度。因此我们需要把kettle的调度从项目中分离出来，这样才能够更好地集成到自己的项目中去。于是我觉得将它抽出来，基于spring-boot，具体的业务也分离出来，kettle作为一个组件。

renren-kettle

项目说明

项目实现功能

项目结构

实时websocket的接入例子

部署指南

如需加入项目，请邮件 [e-mail]

基于kettle的数据集成平台（汇总）

演示环境：

用户名：admin        密码：admin

北大服务网关http://kettle.wangyaojun.cn/

咨询qq：893393953

服务池

作业池

执行日志

---

认识kettle： 认识kettle_qingxinziran007的专栏-CSDN博客为什么要写kettle专栏？在使用了kettle近5年的时间内https://blog.csdn.net/qingxinziran007/article/details/114398969

开篇-后端工程师的开发利器：

开篇-后端工程师的开发利器_qingxinziran007的专栏-CSDN博客作为一个后端工程师，平时最主要的工作其实就是数据处理，也就是经常所说的增删改查。长时间做这些冗余的工作，再加上996的常态，时常会让人感到厌烦。那么后端工程师的最终归宿是什么呢？很多后端工程师都会感到迷茫，如果想要更进一步成为所谓的架构师，你会发现架构师所做的架构设计，其实也就是照搬互联网领域常用的一些架构模式，更有甚者就是那些ppt架构师，相信很多同学都有和我一样的体会，真正能够进行模式创新的往往是一些研究院的学者，所以要想成为架构师多读书是一个必要条件，但是真正落地的你会发现其实就是后端工程师。那么作为https://blog.csdn.net/qingxinziran007/article/details/120402992

基于kettle的数据集成平台（一）： 基于kettle的数据集成平台（一）_qingxinziran007的专栏-CSDN博客本篇文章先不介绍kettle的基础知识，主要介绍基于kettle的数据集成平台。也就说，本篇文章介绍的是一个平台，是需要具备大量的kettle知识点才能完成的。通过对此平台的介绍，让大家对kettle的学习充满兴趣，不至于半途而废。这个平台能够解决工程师工作中大部分的数据处理问题。 当然如果大家喜欢这个平台的话，可以在评论区留言大家共同谈论，一起进步。功能点：支持rest请求，websocket请求，mqtt请求等；支持服务维度的热插拔。提供请求报文转换服务，响应报文服务；服务重新..https://blog.csdn.net/qingxinziran007/article/details/115273131

基于kettle的数据集成平台（二）：
基于kettle的数据集成平台（二）_qingxinziran007的专栏-CSDN博客鉴于上篇文章是对平台做的简要介绍，可能会对平台的强大功能了解的不够，本篇文章就从一个真实的业务场景入手，来解决工作中的实际问题。场景描述：需求：某教育机构希望实现在线考试功能。1，线上答题：通过在线录入试题，导入试题，来快速的生成试卷,。2，线下答题：通过在线导出试卷，打印成纸质版的试卷。难点：1 ，如何将word试卷导入系统呢？2，如何将试题导出为word试卷呢？解决方案：使用poi进行解析优点：学习成本低，容易简单；缺点：硬编码,工作量大，易出错，冗余工作多.https://blog.csdn.net/qingxinziran007/article/details/115408556

基于kettle的数据集成平台（三）： 基于kettle的数据集成平台（三）_qingxinziran007的专栏-CSDN博客_kettle mqtt上篇文章主要介绍了使用kettle平台实现文档的高效解析。通过上传文档和下载文档的方式，来对各种异构文档进行数据格式的统一。本篇文章进行介绍kettle平台的其他高级功能，即：mqtt与websocket的相互转换。场景描述：需求：物联网平台的数据处理。大家知道，物联网平台的数据处理过程：硬件设备层——》数据收集层——》业务逻辑层——》展示层。物联网平台的主要数据传输协议有mqtt，coap，http等，mqtt是最常见的一种。展示层一般采用websocket技术进行展示。问题：.https://blog.csdn.net/qingxinziran007/article/details/115464344

基于kettle的数据集成平台（四）：基于kettle的数据集成平台（四）_qingxinziran007的专栏-CSDN博客上篇文章介绍了使用kettle平台实现mqtt与websocket的数据互转功能，基本上能够解决物联网平台中的通信问题。本章将继续讲解kettle平台的另外一个高级功能，即：实现websocket之间的转发透传。场景描述：我在开发物联网平台的时候，遇到这样一个问题。如果想要实时的将设备数据展现在前端页面，采用websocket进行通信那是必然的选择。但是为了适配不同类型的前端（h5,app,小程序等），数据格式肯定是不一样的。现在有两个公司入驻该平台，每个公司都有自己的标准协议（比如A公司..https://blog.csdn.net/qingxinziran007/article/details/115530359

基于kettle的数据集成平台用户手册：

基于kettle的数据集成平台用户手册_qingxinziran007的专栏-CSDN博客应用管理第一步：以admin/admin用户登录系统后，可以看到左侧菜单如下：选择应用管理菜单第二步：添加新应用：如添加（天气预报） 资源池第一步：添加服务分类第二步：分类添加成功，例如天气预报对接第三步：编写kettle转换文件与天气预报接口进行集成第四步：上传kettle转换文件到资源池第五步：上传完成后，如下图。 服务池第一步：新建服务，选择资源文件第二步：保存服务成功后，如下图： 服务测试...https://blog.csdn.net/qingxinziran007/article/details/116676917

 kettle-数据迁移场景：

kettle-数据迁移场景_qingxinziran007的专栏-CSDN博客场景描述：大家都知道，物联网项目的数据量大，如何高效的存储处理数据是一个非常棘手的问题。但是，往往在项目初期是不可能准确的预估到数据体量，随着项目的演进，就会发现现数据库性能会直线下降，甚至会导致服务挂掉。此时项目的架构也要随之进行革新，数据库也势必要切换到性能更强的数据库（比如，从关系型数据库到NoSql或时序数据库）。此时，kettle这个强大的ETL工具的用武之地就到了。那么kettle是如何在不同的数据库之间进行迁移的呢？https://blog.csdn.net/qingxinziran007/article/details/122576395