Sqoop增量导入

Posted 2021-11-29 yfb918

使用SQoop Job做增量导入：

说明：

　　在执行导入模式为incremental 的sqoop job时，sqoop会获取上次导入操作的 -check-column的value值，也就是说使用sqoop job在做增量导入的时候，不用手动指定 --last-value的值。

       但是也有这样的一种情况，sqoop job中如果指定了--incremental 为append模式导入，在指定了增量列--check-column之后，比如id为增量列，并且指定了--last-value的值，比如设置为100，那么在执行sqoop job的时候就会将id>100的行导入到hive中去。

增量导入简单实例：

1、mysql建表

CREATE TABLE `sqoop_job_incremental` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  `last_mod` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=latin1

2、插入数据

insert into sqoop_job_incremental(id,name) values(1,‘name1‘);
insert into sqoop_job_incremental(id,name) values(2,‘name2‘);
insert into sqoop_job_incremental(id,name) values(3,‘name3‘);

3、将mysql表结构同步到hive中

sqoop create-hive-table --connect jdbc:mysql://192.168.200.100:3306/yang --username root --password 010209 --table sqoop_job_incremental 
--hive-table sqoop_job_incremental --fields-terminated-by ‘,‘

4、创建增量导入的sqoop job

 

5、执行job

6、加入增量导入的数据

7、再次执行job