hadoop完全分布式安装

Posted 天行者之眼

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop完全分布式安装相关的知识,希望对你有一定的参考价值。

  环境介绍

服务器软件版本
操作系统 CentOS 6.5 x86_64
Java 1.7.0_79
hadoop 2.6.1
hadoop各个节点集群架构
主机名 ip 角色
hadoop01 192.168.103.137 ResourceManager/NameNode/SecondaryNameNode
hadoop02 192.168.103.138 NodeManager/DataNode
hadoop03 192.168.103.140 NodeManager/DataNode

  环境配置

本实验是在VMware虚拟机上操作,考虑到有些软件安装中会上传下载等重复操作,所以先安装配置一台服务器,然后用这台服务器克隆出其它两台。
先安装好一台服务器,设置IP为192.168.103.137,以下操作都是在这台服务器上操作。
1)安装jdk,如果已经安装跳过
将下载的jdk-7u79-linux-x64.tar.gz软件包上传到服务器,解压到/usr/local/目录,并更名为jdk。
2)安装ssh-clients,如果已经安装跳过,通过命令安装:yum install openssh-clients
3)上传解压hadoop
然后将JAVA_HOME和HADOOP_HOME配置到环境变量中
source ~/.bashrc
4)关闭防火墙,集群安装后会有网络通信,需要开启一些端口,为了方便直接关闭防火墙。
5)克隆服务器,配置主机域名
将配置好的137服务器克隆出两台,分别配置好IP为138和140,具体配置可参考文档。
三台服务器能相互ping通,然后配置主机名,三台都要配置,配置好后通过域名相互ping通。
免密登入

  三台服务器分别执行ssh-keygen -t rsa生成密匙对,然后通过ssh-copy-id

  root@192.168.103.137,将公匙加到三台服务器授权列表,注意每台服务器都要全部配到三台,包括当前所在主机。配置好后三台服务器能相互ssh登入

  

  安装hadoop

  对三台服务器都进行如下操作,修改hadoop配置文件,配置文件在安装目录etc/hadoop下,需要修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。

  创建/usr/local/hadoop/tmp目录:

  修改core-site.xml为:

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
</configuration>

  修改hdfs-site.xml为:

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

  将mapred-site.xml.template更名为mapred-site.xml,并mapred-site.xml修改为:

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

  修改yarn-site.xml为:

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
</configuration>
在hadoop01节点上修改slaves文件,添加从节点:
 

  启动hadoop

  1)格式化文件系统,hadoop可以在任意目录执行,因为配置了path环境变量,其实调用的是/usr/local/hadoop/bin下的hadoop命令

 

hadoop namenode -format

 

  2)启动hdfshadoop可以在任意目录执行,因为配置了path环境变量,其实调用的是/usr/local/hadoop/sbin下的start-dfs.sh命令

 

start-dfs.sh 

 

  启动成功后通过jps命令查看进程,hadoop01节点启动了三个进程SecondaryNameNode、NameNode、DataNode,hadoop02和hadoop03启动进程一样,只启动了DataNode进程。

  3)启动yarn

start-yarn.sh 

 

  通过jps命令查看进程,hadoop01节点启动了两个进程ResourceManager、NodeManager,hadoop2和hadoop03启动进程一样,只启动了NodeManager进程。

  4)运行效果

  在window浏览器访问http://192.168.103.137:50070

  点击datanode查看数据节点

  访问http://192.168.103.137:8088,查看MR任务

 

以上是关于hadoop完全分布式安装的主要内容,如果未能解决你的问题,请参考以下文章

Docker——Hadoop完全分布式安装

hadoop完全分布式安装

hadoop 2.9.2 完全分布式安装

Hadoop学习之hadoop安装JDK安装集群启动(完全分布式)

基于VM与Hadoop的完全分布式安装

hadoop完全分布式安装