kettle-批量同步表数据

Posted cyt1153

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kettle-批量同步表数据相关的知识,希望对你有一定的参考价值。

一、实验目标

  利用kettle实现从mysql数据库中的dbf库批量同步表到dbm库(全量同步)

二、实验环境

  dbf  库中表f1、f2、f3  。f1中1条数据,f2中100条数据,f3中2条数据。

  dbm库中表f1、f2、f3  。f1、f2、f3都为空表。

  f1、f2、f3表结构一样如下:

CREATE TABLE `f1` (
`ID` bigint(20) NOT NULL AUTO_INCREMENT,
`anlage` varchar(20) DEFAULT NULL,
`card_count` int(11) DEFAULT NULL,
`card_id` varchar(30) DEFAULT NULL,
`card_no` varchar(30) DEFAULT NULL,
`card_remark` varchar(5) DEFAULT NULL,
`company_code` varchar(20) DEFAULT NULL,
`do_code` varchar(10) DEFAULT NULL,
`updatetime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb4;

三、实验步骤

1.创建一个job(insert_job):

2.创建转换gettable

表输入:

3.创建转换insertall

表输入ftable:                                                              表输出mtable:

 

转换insertall属性:

 

4.insert_job 属性

四、实验结果

 

结论:

  整个过程简单粗暴,很low,但也记录一下学习点滴

 

以上是关于kettle-批量同步表数据的主要内容,如果未能解决你的问题,请参考以下文章

kettle怎样同步文件夹下最新的那个文件

使用Kettle工具进行增量数据同步

kettle-单表增量同步

kettle数据同步方法

Kettle创建一个简单的转换-表数据同步

kettle数据同步如何更新