Hadoop完全分布式安装配置完整过程

Posted 2020-10-27 glsy

一. 硬件、软件准备

1. 硬件设备

为了方便学习Hadoop，我采用了云服务器来配置Hadoop集群。集群使用三个节点，一个阿里云节点、一个腾讯云节点、一个华为云节点，其中阿里云和腾讯云都是通过使用学生优惠渠道购买了一年的云服务，华为云使用免费7天或15天的云服务器。我决定使用腾讯云节点作为Master节点，阿里云节点和华为云节点作为Slave节点。集群基本结构如下图：

云服务器配置信息如下：

 

 

       集群网络环境：

      分别在每台机器上创建了用户hadoop，并且全部禁用了防火墙。

     2. 软件

     由于Hadoop需要JVM环境，所以需要下载JDK。需要的软件清单如下图所示。

二、环境搭建

1. JAVA安装

• 解压

    我们下载软件jdk-8u61-linux-x64.tar.gz放在了 /home/install-package 下。先在 /home 下创建了java目录，并将jdk压缩文件解压到该目录下，命令如下。

[root@libaoshen_tencent java]# tar -zxvf /home/install-package/jdk-8u161-linux-x64.tar.gz -C java

• 建立软连接

    和window上的快捷方式一样，我们为jdk安装的长路径建立一个短路径，方便我们后面设置环境变量。

[root@libaoshen_tencent java]# ln -s /home/java/jdk1.8.0_161/ /home/jdk

• 配置环境变量

在 /etc/profile 中添加环境变量。

[root@libaoshen_tencent home]

# vim /etc/profile

添加内容：

JAVA_HOME=/home/jdk
CLASSPATH=$JAVA_HOME/lib
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

 

随后使用 source /etc/profile 命令使配置生效，最后通过执行 java –version 查看java是否安装配置成功。看到输出的结果是我们安装的内容，说明安装配置成功。

[root@libaoshen_tencent home]# source /etc/profile [root@libaoshen_tencent home]# java -version java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 

1.8.0_161-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

2. SSH配置

  Hadoop控制脚本依靠SSH来进行集群的管理，为了方便操作，设置SSH为免密访问。

• 进入创建的用户hadoop的工作目录下

[root@libaoshen_tencent ~]# su hadoop [hadoop@libaoshen_tencent root]$ cd ~

• 执行ssh创建密钥命令

[hadoop@libaoshen_tencent ~]$ ssh-keygen -t rsa

  进入hadoop用户的工作目录，查看目录下的文件，发现出现了一个 .ssh 文件夹。打开 .ssh 文件夹，我们看到了生成的 公钥 id_rsa.pub 和私钥 id_rsa 两个文件。

[hadoop@libaoshen_tencent ~]$ ls -

al
total 28
drwx

------ 3 hadoop hadoop 4096 Mar 16 23:49 . drwxr-xr-x. 5 root root 4096 Mar 16 23:48 .. -rw------- 1 hadoop hadoop 63 Mar 16 23:49 .bash_history -rw-r--r-- 1 hadoop hadoop 18 Aug 3 2016 .bash_logout -rw-r--r-- 1 hadoop hadoop 193 Aug 3 2016 .bash_profile -rw-r--r-- 1 hadoop hadoop 231 Aug 3 2016 .bashrc drwx------ 2 hadoop hadoop 4096 Mar 16 23:49 .ssh [hadoop@libaoshen_tencent ~]$ cd .ssh/

[hadoop

@libaoshen_tencent .ssh]$

 ls
id_rsa  id_rsa.pub

• 将生成的公钥覆盖到authorized_keys

[hadoop@libaoshen_tencent .ssh]$ cp id_rsa.pub authorized_keys

• 通过再这三台机器上分别执行上面的步骤，将三台机器上hadoop用户 ~/.ssh/authorized_keys 中的内容合成一个authorized_keys文件，并使用 scp 命令将该文件复刻到其余两台机器上对应的目录中。并且同时要设置 .ssh 目录的访问权限为700，设置 .ssh/authorized_keys 的权限为600。具体操作如下。

    a.合成后的authorized_keys文件

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC2XHqv9F0+ueiDlBqV7M2yKRdtDRmV7OgW7WFOmcN9abkBAumDM4+vZ6fFkHlmPcUcskm7HFiQ4BEZep8NdaZ8kRr2V4dSy0T8IidXgPL6Mc8UH+e5h+VOaelfmBprb8oo0vmdJ73rAn4bswx9FW/4Rm/mTG0ZXuE288LEXktKxQEz31sH8HBDKt+uEjYq9SDiPEnE8Dg85WMHLDdTwrNH7okMrskeetXBhcacp28PXuneEB5fCOu02CdPsQ7LmJZpEt4rSGHa3f/m75jGGKlvK5+g+jGO7SXuipWaogQIVxb6xusKl0qm5YwR9uVB5I3Yy7FpFJjJMvEf78bbHYHR hadoop@libaoshen_tencent ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDUqHX/2CTD9hJa+qyoEIq3juAXTXr1dBxQpsfySOA1VbKZkyzxJVGlFae9YmHrOOrnWTRFiDGrfJL/KxO7Kt1mpJFYivhAkORGgNWAf6KpjCb0ScRUqp/7aUYMjUv7a8nX0wALHURtoViLmI6A21CWuF9tuIbu5FOpquCV4Vz7z32PFNkHiG2l/mfWGzV+1R8bgkCP7JvBZnB4/4bJ+6mzmTyhiQ5VBnbBzF0IH3kCWeCY7B+XHjrW2iaCEv1mCFrBun0J7ojZYr9tv7FXgr1+B0nr3cDP2parcVPY0BdLDz+sRNVUeczQZfcVypQxfNtdCQ+6pcazBLfgL7cwZ8ab hadoop@libaoshen_ali ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA0fq+6HJ72U4S/+FCijVrp6xhKlTOfajQRHISa3+sH3+wQgHzk3OXGYPJC0snkUN5fot+AQcY2n1sc2l+VItRgjxaISXseUjntAG5N0EQb8wjidPaDTYTbcFefc0aHStHJCKH800yoz7Y7DN+Z84G2Lzp7XK+m8zIBuiMpKjrGE77qGd/UmQcQ4Zk1PxWtWogs0xyrjMr3Y3t57r8xMgqPs2lIb2rlYJ3H26q5YAE6XwaNnjogRh1oM0jakEBlKl4jrFMozUQulwabjT+0gfGezXHie4dmrLPesXjGE7cs+hjUEmzYKPZAIK8i0b+YAEw3i/kr0kDWmNOP/JdgQJcEQ==

[e-mail]

    b.为 .ssh 和 .ssh/authorized_keys 分别设置权限为 700 和 600(很关键)

[hadoop@libaoshen_tencent ~]$ chmod 700 .ssh/

[hadoop

@libaoshen_tencent ~]$ chmod 600 .ssh/authorized_keys

   c.libaoshen_tencent 节点上测试是否能免密登录，通过输出结果看到，可以成功免密登录

[hadoop@libaoshen_tencent ~]$ ssh hadoop@

libaohshen_tencent
Last login: Sat Mar 17 13:24:42 2018 from 127.0.0.1

   d.随后分别使用 scp 命令将该authorized_keys 复制到其他两个节点上，同时设置文件权限以及分别测试是否能免密登录

[hadoop@libaoshen_tencent ~]$ scp ~/.ssh/authorized_keys hadoop@39.*.*.*:~/.ssh/

[hadoop@libaoshen_tencent ~]$ scp ~

/.ssh/authorized_keys hadoop@114.*.*.*:~/.ssh/

e.最后，在libaoshen_tencent节点上，即Master节点上尝试免密连接其余的节点，测试ssh是否配置正确。看输出结果，我们已经可以免密连接Slave节点了，说明ssh配置成功

[hadoop@libaoshen_tencent .ssh]$ ssh hadoop@39.*.*.*

Last failed login: Sat Mar 

17 13:31:38 CST 2018 from 193..*.*.* on ssh:notty There were 2 failed login attempts since the last successful login. Last login: Sat Mar 17 13:07:31 2018

Welcome to Alibaba Cloud Elastic Compute Service 

!

[hadoop

@libaoshen_ali ~]$

3. Hadoop安装和配置

• Master节点安装Hadoop

a. 我们已经将下载好的hadoop-2.7.5.tat.gz放在了 /home/install-package 中。首先使用root身份登录，再将 hadoop-2.7.5.tar.gz压缩包解压到 /home/hadoop 中，然后要么设置link，要么修改hadoop-2.7.5 目录为hadoop，缩短hadoop安装目录名。操作命令如下。

[root@libaoshen_tencent hadoop]# tar -zxvf hadoop-2.7.5.tar.gz -C ../hadoop/ [root@libaoshen_tencent hadoop]# mv hadoop-2.7.5 hadoop [root@libaoshen_tencent hadoop]# chown -R hadoop:hadoop hadoop

b. 配置hadoop环境变量

[root@libaoshen_tencent hadoop]# vi /etc/profile

添加如下内容

HADOOP_HOME=/home/hadoop/

hadoop
PATH=

$PATH:$HADOOP_HOME/

bin
export PATH HADOOP_HOME

再执行source /etc/profile 让环境变量配置生效。同时在 /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh 修改java路径。如下所示。

[root@libaoshen_tencent hadoop]# vim /usr/hadoop/hadoop/etc/hadoop/hadoop-env.sh

修改java路径为上面我们所配置的路径，再执行 source hadoop-env.sh 使其生效。

修改后，执行hadoop version， 我们可以看到hadoop的版本号和其他信息。

c. 配置hadoop中的配置文件

 

    i.core-site.xml: hadoop 的核心配置文件，添加设置为namenode节点的地址，端口号一般为9000

 

     ii.hdfs-site.xml：设置备份数量，由于我们有两个datanode，所以设置为2

     iii.mapred-site.xml：设置jobtracker对应的节点地址，端口号一般为9001

 

     iv.masters和slaves：masters修改为设置为master的那个节点的ip，slaves修改为设置为slave的节点的ip

 

       v.在master上配置完成后，再使用scp命令将java、hadoop及其配置复制到其他的两个节点上

        复制hadoop

[hadoop@libaoshen_tencent hadoop]$ scp -r /usr/hadoop/hadoop hadoop@39.*.*.*:/usr/hadoop [hadoop@libaoshen_tencent hadoop]$ scp -r /usr/hadoop/hadoop hadoop@114.*.*.*:/usr/hadoop

           复制配置，由于我们的配置是在root用户下的，所以需要su root后输入密码才能scp

[root@libaoshen_tencent hadoop]# scp -r /etc/profile root@39.*.*.*:/etc [root@libaoshen_tencent hadoop]# scp -r /etc/profile root@114.*.*.*:/etc

三. 启动

• 格式化

    运行 hadoop namenode –format，会初始化namenode，记录集群元数据，即datanode的信息等。

• 启动

    在目录 /usr/hadoop/hadoop/sbin 目录中执行 ./start-all.sh 即可以启动，执行 ./stop-all.sh 即可停止

    启动后可以使用 jps 命令查看hadoop后台进程是否已经启动

Master节点

Slave节点

 

可以在浏览器中输入 namenode 的ip + 8088/50070 查看集群状态

安装过程中遇到的问题：

1. 配置不正确，导致分发给其他节点的配置也有问题，最后发现更正的成本比较高。所以一定要仔细检查，确认配置无误后，在复制到每个其他的节点；

2. hostname配置不正确，一定要确保 ip 和 hostname 对应，否则就可能出现 hostname unknown等报错；

3. 在启动过程中，hadoop会打印日志，当出现问题时，可以查看日志信息，准确定位错误位置。