Sqoop的安装部署

Posted 2020-10-10 Xiao_野猪

  在root的用户下

1）：前提 安装JDK环境

2）：前提 安装Hadoop和Hive客户端环境，如果需要导出到HBase则需要安装HBase客户端

3）：下载sqoop : 命令： wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 

4）： 配置sqoop的环境变量，先去 profile的路径下先 ：

        命令 ：cd /etc/profile.d/

       新建一个文件 命令：vim sqoop-en.sh                                 

  export SQOOP_HOME=/usr/local/sqoop 
  export PATH=$PATH:$SQOOP_HOME/bin  

/usr/local/sqooop的路径是我把解压的重命令为了sqoop并且我把它sqoop放到了/usr/local下
5）： 保存退出，使用source配置生效

         命令： source /etc/profile.d/sqoop-en.sh

6）：解压包, 改名称：sqoop, 放到/usr/local/ 路径下

7）：验证安装：  sqoop version

 

8）：Sqooop使用import工具导入数据例子

命令：sqoop import --connect jdbc:mysql://localhost/hive --username root --password root--table TBLS -m 1 --target-dir /sqoop --append --fields-terminated-by "\\t"

 ---:mysql://localhost/数据库

  --username 那个用户执行 --password 密码

---- TBLS 表

-m 1可指定只使用1个map，这样只能得到一个保存在HDFS中的文件

  append参数，可以在原有目录上持续追加导入数据

9）：Sqoop使用codegen工具生成代码

sqoop codegen --connect jdbc:mysql://localhost/hive --username root --password root --table TBLS --class-name TBLS.java