Sqoop搭建

Posted 2020-12-12 agent9527

一.集群规划

Name	Master	Slave1	Slave2
IP	192.168.2.98	192.168.2.99	192.168.2.100
Jdk版本	1.8.0.171	1.8.0.171	1.8.0.171
Zookeeper版本	3.4.10	3.4.10	3.4.10
Hadoop版本	2.7.3	2.7.3	2.7.3
Hbase版本	1.2.4	1.2.4	1.2.4
Hive版本	2.1.1（客户端）	2.1.1（服务端）	无
Sqoop版本	1.4.7	无	无

二.搭建Sqoop

 在已完成此配置的基础上执行以下。tar包链接: https://pan.baidu.com/s/1hwLPI0eUwkpGmP5ROqM6Lw 提取码: k7m3

 安装之前得先搭建Zookeeper全分布式、Hadoop全分布式、Hbase全分布式、Hive远程模式。

主节点Master上执行
# mkdir /usr/sqoop  建立目录
# tar -zxvf /opt/soft/sqoop-1.4.7.bin.tar.gz -C /usr/sqoop/  解压目录
# cp /opt/soft/mysql-connector-java-5.1.47-bin.jar /usr/sqoop/sqoop-1.4.7.bin/lib/ 拷贝
# vim /etc/profile  添加Sqoop环境变量 – 保存退出
export SQOOP_HOME=/usr/sqoop/sqoop-1.4.7.bin
export PATH=$PATH:$SQOOP_HOME/bin
# source /etc/profile
# sqoop version  验证有sqoop版本则通过
# cd /usr/sqoop/sqoop-1.4.7.bin/conf/   进入
# cp sqoop-env-template.sh sqoop-env.sh & vim sqoop-env.sh  复制并进入修改hadoop(两项)hbasehivezookepper五个路径
export HADOOP _COMMON_HOME=/usr/hadoop/hadoop-2.7.3
export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.7.3
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export ZOOCFGDIR=/usr/zookeeper/zookeeper-3.4.10
# 测试sqoop连接MySQL有提示则输MySQL之前设置的密码
# sqoop list-databases --connect jdbc:mysql://slave2:3306/ --username root -P  语句