基于kettle的数据集成平台(汇总)

Posted qingxinziran007

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于kettle的数据集成平台(汇总)相关的知识,希望对你有一定的参考价值。

演示环境:

用户名:admin        密码:admin

北大服务网关http://kettle.wangyaojun.cn/

咨询qq:893393953

服务池
作业池
执行日志


认识kettle: 认识kettle_qingxinziran007的专栏-CSDN博客为什么要写kettle专栏?在使用了kettle近5年的时间内https://blog.csdn.net/qingxinziran007/article/details/114398969

开篇-后端工程师的开发利器:

开篇-后端工程师的开发利器_qingxinziran007的专栏-CSDN博客作为一个后端工程师,平时最主要的工作其实就是数据处理,也就是经常所说的增删改查。长时间做这些冗余的工作,再加上996的常态,时常会让人感到厌烦。那么后端工程师的最终归宿是什么呢?很多后端工程师都会感到迷茫,如果想要更进一步成为所谓的架构师,你会发现架构师所做的架构设计,其实也就是照搬互联网领域常用的一些架构模式,更有甚者就是那些ppt架构师,相信很多同学都有和我一样的体会,真正能够进行模式创新的往往是一些研究院的学者,所以要想成为架构师多读书是一个必要条件,但是真正落地的你会发现其实就是后端工程师。那么作为https://blog.csdn.net/qingxinziran007/article/details/120402992

基于kettle的数据集成平台(一): 基于kettle的数据集成平台(一)_qingxinziran007的专栏-CSDN博客本篇文章先不介绍kettle的基础知识,主要介绍基于kettle的数据集成平台。也就说,本篇文章介绍的是一个平台,是需要具备大量的kettle知识点才能完成的。通过对此平台的介绍,让大家对kettle的学习充满兴趣,不至于半途而废。这个平台能够解决工程师工作中大部分的数据处理问题。 当然如果大家喜欢这个平台的话,可以在评论区留言大家共同谈论,一起进步。功能点:支持rest请求,websocket请求,mqtt请求等;支持服务维度的热插拔。提供请求报文转换服务,响应报文服务;服务重新..https://blog.csdn.net/qingxinziran007/article/details/115273131

基于kettle的数据集成平台(二):
基于kettle的数据集成平台(二)_qingxinziran007的专栏-CSDN博客鉴于上篇文章是对平台做的简要介绍,可能会对平台的强大功能了解的不够,本篇文章就从一个真实的业务场景入手,来解决工作中的实际问题。场景描述:需求:某教育机构希望实现在线考试功能。1,线上答题:通过在线录入试题,导入试题,来快速的生成试卷,。2,线下答题:通过在线导出试卷,打印成纸质版的试卷。难点:1 ,如何将word试卷导入系统呢?2,如何将试题导出为word试卷呢?解决方案:使用poi进行解析优点:学习成本低,容易简单;缺点:硬编码,工作量大,易出错,冗余工作多.https://blog.csdn.net/qingxinziran007/article/details/115408556

基于kettle的数据集成平台(三): 基于kettle的数据集成平台(三)_qingxinziran007的专栏-CSDN博客_kettle mqtt上篇文章主要介绍了使用kettle平台实现文档的高效解析。通过上传文档和下载文档的方式,来对各种异构文档进行数据格式的统一。本篇文章进行介绍kettle平台的其他高级功能,即:mqtt与websocket的相互转换。场景描述:需求:物联网平台的数据处理。大家知道,物联网平台的数据处理过程:硬件设备层——》数据收集层——》业务逻辑层——》展示层。物联网平台的主要数据传输协议有mqtt,coap,http等,mqtt是最常见的一种。展示层一般采用websocket技术进行展示。问题:.https://blog.csdn.net/qingxinziran007/article/details/115464344

基于kettle的数据集成平台(四):基于kettle的数据集成平台(四)_qingxinziran007的专栏-CSDN博客上篇文章介绍了使用kettle平台实现mqtt与websocket的数据互转功能,基本上能够解决物联网平台中的通信问题。本章将继续讲解kettle平台的另外一个高级功能,即:实现websocket之间的转发透传。场景描述:我在开发物联网平台的时候,遇到这样一个问题。如果想要实时的将设备数据展现在前端页面,采用websocket进行通信那是必然的选择。但是为了适配不同类型的前端(h5,app,小程序等),数据格式肯定是不一样的。现在有两个公司入驻该平台,每个公司都有自己的标准协议(比如A公司..https://blog.csdn.net/qingxinziran007/article/details/115530359

基于kettle的数据集成平台用户手册:

基于kettle的数据集成平台用户手册_qingxinziran007的专栏-CSDN博客应用管理第一步:以admin/admin用户登录系统后,可以看到左侧菜单如下:选择应用管理菜单第二步:添加新应用:如添加(天气预报) 资源池第一步:添加服务分类第二步:分类添加成功,例如天气预报对接第三步:编写kettle转换文件与天气预报接口进行集成第四步:上传kettle转换文件到资源池第五步:上传完成后,如下图。 服务池第一步:新建服务,选择资源文件第二步:保存服务成功后,如下图: 服务测试...https://blog.csdn.net/qingxinziran007/article/details/116676917

 kettle-数据迁移场景:

kettle-数据迁移场景_qingxinziran007的专栏-CSDN博客场景描述:大家都知道,物联网项目的数据量大,如何高效的存储处理数据是一个非常棘手的问题。但是,往往在项目初期是不可能准确的预估到数据体量,随着项目的演进,就会发现现数据库性能会直线下降,甚至会导致服务挂掉。此时项目的架构也要随之进行革新,数据库也势必要切换到性能更强的数据库(比如,从关系型数据库到NoSql或时序数据库)。此时,kettle这个强大的ETL工具的用武之地就到了。那么kettle是如何在不同的数据库之间进行迁移的呢?https://blog.csdn.net/qingxinziran007/article/details/122576395

以上是关于基于kettle的数据集成平台(汇总)的主要内容,如果未能解决你的问题,请参考以下文章

基于kettle的数据集成平台(汇总)

基于kettle的数据集成平台用户手册

基于kettle的数据集成平台用户手册

基于kettle的数据集成平台

数据预处理基于Kettle的字符串数据清洗Kettle的字段清洗Kettle的使用参照表集成数据

起源于 Kettle 的新一代数据集成平台 Apache Hop 成为 Apache 顶级项目