sqoop应用

Posted 2021-12-28 wangshuang123

1.导入数据（将mysql（rdbms）的表的数据导入到hdfs）

1.1.全部导入（注意空格）

sqoop import --connect jdbc:mysql://192.168.159.110:3306/stu \   （stu数据库名称 写自己的ip）
--username root --password 123456 --table students --target-dir /user/test3 \   （导入到hdfs位置,会自动创建，如果存在，会自动删除在创建）
--delete-target-dir --m 1 --fields-terminated-by "\t";  （分割符）

1.2.查询导入

sqoop import --connect jdbc:mysql://192.168.159.110:3306/stu \
--username root --password 123456 --target-dir /user/test4 --delete-target-dir --m 1 --fields-terminated-by "\t" --query ‘select id,name from students where id <=1 and $CONDITIONS‘;

注意：sql语句的末尾必须加上$CONDITIONS

1.3.导入指定的列

sqoop import --connect jdbc:mysql://hadoop01:3306/stu \ （既可以写名称也可以写ip）
--username root --password 123456 --target-dir /user/test5 --delete-target-dir --m 1 --fields-terminated-by "\t" --columns id --table students;

提示:：columns中如果涉及到多列时，用逗号分割，分割时不要添加空格

1.4.使用sqoop关键字筛选查询导入数据

sqoop import --connect jdbc:mysql://hadoop01:3306/stu \
--username root --password 123456 --target-dir /user/test6 --delete-target-dir --m 1 --fields-terminated-by "\t" -table students --where "id=2";