hadoop完全分布式安装

Posted 2020-12-02 天行者之眼

　　环境介绍

服务器软件版本

操作系统	CentOS 6.5 x86_64
Java	1.7.0_79
hadoop	2.6.1

hadoop各个节点集群架构

主机名	ip	角色
hadoop01	192.168.103.137	ResourceManager/NameNode/SecondaryNameNode
hadoop02	192.168.103.138	NodeManager/DataNode
hadoop03	192.168.103.140	NodeManager/DataNode

　　环境配置

本实验是在VMware虚拟机上操作，考虑到有些软件安装中会上传下载等重复操作，所以先安装配置一台服务器，然后用这台服务器克隆出其它两台。

先安装好一台服务器，设置IP为192.168.103.137，以下操作都是在这台服务器上操作。

1）安装jdk，如果已经安装跳过

将下载的jdk-7u79-linux-x64.tar.gz软件包上传到服务器，解压到/usr/local/目录，并更名为jdk。

2）安装ssh-clients，如果已经安装跳过，通过命令安装：yum install openssh-clients

3）上传解压hadoop

然后将JAVA_HOME和HADOOP_HOME配置到环境变量中

source ~/.bashrc

4）关闭防火墙，集群安装后会有网络通信，需要开启一些端口，为了方便直接关闭防火墙。

5）克隆服务器，配置主机域名

将配置好的137服务器克隆出两台，分别配置好IP为138和140，具体配置可参考文档。

三台服务器能相互ping通，然后配置主机名，三台都要配置，配置好后通过域名相互ping通。

免密登入

　　三台服务器分别执行ssh-keygen -t rsa生成密匙对,然后通过ssh-copy-id

　　root@192.168.103.137，将公匙加到三台服务器授权列表,注意每台服务器都要全部配到三台，包括当前所在主机。配置好后三台服务器能相互ssh登入

　　

　　安装hadoop

　　对三台服务器都进行如下操作，修改hadoop配置文件，配置文件在安装目录etc/hadoop下，需要修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。

　　创建/usr/local/hadoop/tmp目录：

　　修改core-site.xml为：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
</configuration>

　　修改hdfs-site.xml为：

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

　　将mapred-site.xml.template更名为mapred-site.xml，并mapred-site.xml修改为：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

　　修改yarn-site.xml为：

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
</configuration>

在hadoop01节点上修改slaves文件，添加从节点：

 

　　启动hadoop

　　1）格式化文件系统，hadoop可以在任意目录执行，因为配置了path环境变量，其实调用的是/usr/local/hadoop/bin下的hadoop命令

 

hadoop namenode -format

 

　　2）启动hdfs，hadoop可以在任意目录执行，因为配置了path环境变量，其实调用的是/usr/local/hadoop/sbin下的start-dfs.sh命令

 

start-dfs.sh 

 

　　启动成功后通过jps命令查看进程，hadoop01节点启动了三个进程SecondaryNameNode、NameNode、DataNode，hadoop02和hadoop03启动进程一样，只启动了DataNode进程。

　　3）启动yarn

start-yarn.sh 

 

　　通过jps命令查看进程，hadoop01节点启动了两个进程ResourceManager、NodeManager，hadoop2和hadoop03启动进程一样，只启动了NodeManager进程。

　　4）运行效果

　　在window浏览器访问http://192.168.103.137:50070

　　点击datanode查看数据节点

　　访问http://192.168.103.137:8088，查看MR任务