Sqoop的简单使用案例

Posted 2021-07-04 youngxuebo

Sqoop的简单使用案例

导入数据

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

（1）RDBMS到HDFS

（1）全部导入

$ bin/sqoop import \\
--connect jdbc:mysql://bigdata112:3306/test \\
--username root \\
--password 000000 \\
--table student \\
--target-dir /user/test/student1 \\
--delete-target-dir \\
--num-mappers 1 \\
--fields-terminated-by "\\t"

（2）查询导入

$ bin/sqoop import \\
--connect jdbc:mysql://bigdata112:3306/test \\
--username root \\
--password 000000 \\
--target-dir /user/test/student \\
--delete-target-dir \\
--num-mappers 1 \\
--fields-terminated-by "\\t" \\
--query 'select name,sex from student where id <=6 and $CONDITIONS;'

尖叫提示：must contain ‘$CONDITIONS’ in WHERE clause. 注：CONDITIONS 翻译‘条件’

尖叫提示：如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。

（3）导入指定列

$ bin/sqoop import \\
--connect jdbc:mysql://bigdata112:3306/test \\
--username root \\
--password 000000 \\
--target-dir /user/test/student \\
--delete-target-dir \\
--num-mappers 1 \\
--fields-terminated-by "\\t" \\
--columns id,name \\
--table student

尖叫提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

（4）使用sqoop关键字筛选查询导入数据

$ bin/sqoop import \\
--connect jdbc:mysql://bigdata112:3306/test \\
--username root \\
--password 000000 \\
--target-dir /user/test/student \\
--delete-target-dir \\
--num-mappers 1 \\
--fields-terminated-by "\\t" \\
--table student \\
--where "id=2"

尖叫提示：在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数，多个参数用空格隔开。

（2）RDBMS到Hive

$ bin/sqoop import \\
--connect jdbc:mysql://bigdata112:3306/test \\
--username root \\
--password 000000 \\
--table student \\
--delete-target-dir \\
--num-mappers 1 \\
--hive-import \\
--fields-terminated-by "\\t" \\
--hive-overwrite \\
--hive-table student_hive

尖叫提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库
尖叫提示：从MYSQL到Hive，本质时从MYSQL => HDFS => load To Hive

导出数据

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

（1）HIVE/HDFS到RDBMS

$ bin/sqoop export \\
--connect jdbc:mysql://bigdata111:3306/test characterEncoding=utf-8\\
--username root \\
--password 000000 \\
--export-dir /user/hive/warehouse/student_hive \\
--table student1 \\
--num-mappers 1 \\
--input-fields-terminated-by "\\t"

尖叫提示：Mysql中如果表不存在，不会自动创建,自行根据表结构创建
尖叫提示：重复往mysql的统一个表中导出数据，mysql的表不能设置主键和自增。
尖叫提示：如果数据导出mysql中是“？？”那么添加characterEncoding=utf-8

（2）脚本打包

使用opt格式的文件打包sqoop命令，然后执行。

1）创建一个.opt文件

$ touch job_HDFS2RDBMS.opt

2）编写sqoop脚本

$ vi ./job_HDFS2RDBMS.opt

#以下命令是从staff_hive中追加导入到mysql的aca表中

export
--connect
jdbc:mysql://bigdata112:3306/test
--username
root
--password
000000
--table
student
--num-mappers
1
--export-dir
/user/hive/warehouse111/student_hive
--input-fields-terminated-by
"\\t"

3）执行该脚本

$ bin/sqoop --options-file job_HDFS2RDBMS.opt