Hadoop的安装与设置

Posted 2020-08-25 代码空间

在Ubuntu下安装与设置Hadoop的主要过程。

1. 创建Hadoop用户

创建一个用户，用户名为hadoop，在home下创建该用户的主目录，就不详细介绍了。

2. 安装Java环境

下载Linux环境下的JDK：jdk-8u111-linux-x64.tar.gz。

在usr下创建一个java文件夹，将jdk-8u111-linux-x64.tar.gz复制到java文件夹下面，并解压。

为了操作方便，为JDK文件夹建立一个链接：

编辑/etc/profile文件，在文件末位加上下列语句，设置Java环境变量：

从新登录或者输入source /etc/profile命令，使profile文件生效。

最后，输入java -version命令，可见Java环境安装成功。

3. 安装与设置SSH

Hadoop需要用到SSH登录，Ubuntu已经安装了SSH Client，还需要安装SSH Server。输入命令：

输入ssh localhost可以登录到本机，但是需要输入密码。要实现无密码登录，还需要输入以下命令：

cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys 

以上命令创建了RSA密钥，就可以凭借RSA密钥登录，不需要再输入密码了。

4. 安装Hadoop

下载hadoop-2.7.3.tar.gz，在usr/local/下创建一个hadoop文件夹，将hadoop-2.7.3.tar.gz复制到该文件夹，解压，为了方便操作，将hadoop2.7.3文件夹改名为hadoop。为了测试hadoop是否可用，可以输入以下命令测试一下。