Hadoop 2.7.2 + Sqoop2 安装使用

Posted 2021-02-04 iotcloud

1. 安装环境

本次使用两个节点，一个作为master，一个作为slave。两个虚拟机使用virtualbox。操作系统为ubuntu 64bit server(Ubuntu Server 14.04.1 LTS).

2. 开始架设

先安装一台虚拟机，然后复制，修改hostname和mac address就可以直接作为slave使用。

a. 下载ubuntu iso文件。安装操作系统，大概花费20分钟。

b. 创建用户和组。

c. 安装java。

d. 下载解压缩hadoop。

e. 配置ssh。

f. 修改hadoop配置文件slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

g. 下载sqoop2并解压。

h. 修改sqoop2配置文件中的两项。

i. 复制虚拟机并修改hostname,mac地址。

3. 运行环境

在master机器上运行。

a. hdfs namenode -format

b. start-dfs.sh

c. start-yarn.sh

d. mr-jobhistory-daemon.sh start historyserver

e. sqoop2-server start

4. 使用sqoop2导入sql server数据到hdfs文件系统

a. 运行sqoop2-shell进入交互式客户端。

　　> set option --name verbose --value true

　　> show connector

　　> create link -c 1

　　> create link -c 3

　　> show link --all

　　> create job -f 1 -t 2

　　> start job -j 1 -s