Sqoop基础操作

Posted 2020-11-16 tkzm

1.查看数据库

sqoop list-databases   #查看数据库的命令
--connect jdbc:mysql://master:3306   #数据库连接地址
--username root    #用户名
--password root     #密码

2.根据mysql表创建hive表

sqoop create-hive-table --connect jdbc:mysql://master:3306/test --username root --password root --table user    #指定mysql的表
--hive-table hive_user  #创建hive上的表，表存在报错

3.mysql导入数据到hive

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --fields-terminated-by "	"   #指定表的分隔符
--hive-import --create-hive-table   #自动创建hive表
--hive-overwrite      #覆写
--hive-database  test --hive-table user_mysql -m 1

4.mysql导入数据到hbase

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --hbase-create-table --hbase-table user_hbase --column-family info   #指定列族
--hbase-row-key id      #指定rowkey
--m 1

5.导出数据到mysql

sqoop export --connect jdbc:mysql://master:3306/test --username root --password root --table user --export-dir /user/hive/warehouse/test.db/user_mysql #这个路径是hdfs上hive表的路径
--input-fields-terminated-by "	" --m 1

6.增量导入数据到hbase

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --fields-terminated-by ‘	‘ --incremental append --check-column id --target-dir /user/test1 --last-value 1 --hbase-table user_hbase --column-family info --hbase-row-key id 
-m 1

7.增量导入数据到hive

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --fields-terminated-by ‘	‘ --incremental append --check-column id --target-dir /user/test1 --last-value 1 --hive-import --hive-database test --hive-table hive_mysql -m 1

8.导出数据

sqoop export --connect jdbc:mysql://master:3306/test --username root --password root --table user --export-dir /user/hive/warehouse/test.db/user_mysql --input-fields-terminated-by "	" --m 1