1.集群简介
Hadoop集群具体来说包括两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode
YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManage/NodeManager
2.服务器准备
操作系统：
| 虚拟机系统 | 节点 | 域名/IP地址 |
|---|---|---|
| Centos6 | NameNode/ResourceManage | Master/192.168.1.10 |
| Centos6 | DataNode/NodeManageer | Salve11/192.168.1.11 |
| Centos6 | DataNode/NodeManageer | Salve12/192.168.1.12 |
| Centos6 | DataNode/NodeManageer | Salve13/192.168.1.13 |
Java版本
java version "1.8.0_151"
Hadoop版本
3.网络环境准备
3.1.设置IP地址
分别设置节点IP，在每个节点上执行一下步骤：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改如下：
DEVICE=eth0
HWADDR=08:00:27:53:7E:9D
TYPE=Ethernet
UUID=c8127b91-f551-4630-a272-babb99157433
ONBOOT=yes #使用yes
NM_CONTROLLED=yes
BOOTPROTO=static #使用静态方法
IPADDR=192.168.1.10 #指定ip地址
NETMASK=255.255.255.0 #指定子网掩码
GATEWAY=
重启网络服务：
service network restart
3.2.设置域名
修改域名
打开vi /etc/sysconfig/network：
编辑：
NETWORKING=yes
HOSTNAME=master ##此处修改域名
重启设备reboot。
注意，在每个节点上配置不同的网络ip和域名。配置的ip地址在上面的表格中。
4.SSH免登陆设置
4.1.修改hosts文件
分别在每个节点添加域名到ip地址的映射
打开：vi /etc/hosts
编辑：
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#添加以下内容
192.168.1.10 master
192.168.1.11 salve11
192.168.1.12 salve12
192.168.1.13 salve13
4.2.设置节点之间的免登录
每个节点上执行如下命令：
ssh-keygen -t rsa,产生钥匙，输入后一直回车
ssh-copy-id -i master
ssh-copy-id -i salve11
ssh-copy-id -i salve12
ssh-copy-id -i salve13
4.3.关闭节点防火墙
- 查看防火墙状态
service iptables status - 关闭防火墙
service iptables stop - 查看防火墙开机启动状态
chkconfig iptables --list - 关闭防火墙开机启动
chkconfig iptables off
4.4.关闭SELinux
- 查看SELinux状态
getenforce - 临时开启SELinux
setenforce 1 - 开机关闭SELinux
编辑/etc/selinux/config文件，将SELINUCX的值设置位disabled
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disable #设置为不随开机启动
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
注意：此时也不能通过setenforce 1命令临时开打。
5.Java环境安装
5.1.下载java jdk安装包
点击：Java SE Development Kit 8 下载，下载适用于linux系统的java8 的JDK套件。
下载时要先选择接受许可协议，并下载64位的：dk-8u151-linux-x64.rpm。
5.2.linux上安装
上传到linux系统，使用rpm -ivh dk-8u151-linux-x64.rpm进行安装。
5.3.添加java资源路径
安装之后,添加java的资源路径：
vi /etc/profile
在文件最后添加如下：
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
更新配置：
source /etc/profile
5.4.测试java环境
测试java环境，执行java -version，即可查看java的版本。
如下：
[root@node101 ~]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)
6.Hadoop安装部署
1.6.1.下载Hadoop
在apache的官网下载Hadoop,选择版本2.7.5，使用binary安装。如下图：
下载后，传输到master上
6.2.安装
在master上操作：
解压hadoop：
tar -zxvf hadoop-2.7.5.tar.gz
移动到指定位置：
mv hadoop-2.7.5 /usr/hadoop
6.3.配置
在master上，进入到hadoop的安装目录：/usr/hadoop，再进入hadoop的环境配置目录：/usr/hadoop/etc/hadoop。然后进行以下设置
1.修改Java路径
vi hadoop-env.sh
在第27行，修改java的路径，此处的路径应该是上文设置的JAVA_HOME路径。修改如下：
export JAVA_HOME=/usr/java/jdk1.8.0_151
2.修改core-site.xml
<configuration>
<!-- 指定Hadoop所使用的文件系统schema，HDFS老大的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生的文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
</configuration>
3.修改hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 指定HDFS系统namenode路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/hadoop/dfs/name</value>
</property>
<!-- 指定HDFS系统datanode路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/hadoop/dfs/data</value>
</property>
<!-- 指定HDFS系统secondarynamenode路径 -->
<property>
<name>dfs.secondary.http.address</name>
<value>192.168.1.10:50090</value>
</property>
</configuration>
4.mapred-site.xml
如果mapred-site.xml文件不存在，需要复制一个过来：mv mapred-site.xml.template mapred-site.xml。
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.修改yarn-site.xml
<configuration>
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
把在master上配置好的/usr/hadoop目录分发到每个salve上。使用命令如下：
scp -r /usr/hadoop salve11:/usr/hadoop,
salve12和salve13同样操作。
6.4.添加到环境变量
需要在每个节点添加Hadoop的环境，主要添加下面两条：
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin
到此为之，添加过java和hadoop，此时的/etc/profile自己添加的部分如下：
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
更新配置文件
source /etc/profile
每个节点上创建以下几个目录：
/root/hadoop/tmp
/root/hadoop/dfs/name
/root/hadoop/dfs/data
7.启动集群
修改master节点上的以下文件：
vi /usr/hadoop/etc/hadoop/slaves
添加如下：
salve11
salve12
salve13
在master上执行以下命令开启集群
先格式hadoop：
hdfs namenode -format
启动hdfs:
/usr/hadoop/sbin/start-dfs.sh
再启动yarn：
/usr/hadoop/sbin/start-yarn.sh
使用jps命令可以查看集群启动是否成功。
在master上执行jps,返回如下，表示正确启动：
[root@master hadoop]# jps
3393 Jps
2660 SecondaryNameNode
3111 ResourceManager
2471 NameNode
salve11等其他节点执行jsp,返回如下结果，表示正确启动
[root@salve11 usr]# jps
2502 Jps
2380 NodeManager
2268 DataNode
可以通过网页访问查看
网页访问：http://192.168.1.10:50070
访问后截图如下：
8.其他
也可以单独开启一个节点的namenode或者datanode，使用命令如下：
hadoop-daemon.sh start namenode
或
hadoop-daemon.sh start datanode