Hadoop完全分布式搭建

Posted 2021-03-07 羊想云彩

1.克隆一台虚拟机作为分布式系统的节点

 

 

2.更改克隆机的网络配置

cd /etc/sysconfig/network-scripts

vi ifcfg-ens33

 修改完毕后退出，重启网络：

 systemctl restart network

 

3.添加主机映射

先修改主机名：vi /etc/hostname

 再添加主机映射:

 

4.配置免密

在原机器输入:ssh-keygen

并将公钥发送给克隆机:ssh-copy-id hadop52

 

5.配置namenode节点的slaves

在所有机器(原机器和克隆机)的hadoop安装目录：etc/hadoop/slaves中修改配置文件

 

6.修改hdfs-site.xml配置文件

将value值修改为如上图所示,并将该配置文件发送给克隆机，覆盖克隆机原来的配置文件:

scp /opt/soft/hadoop2.7/etc/hadoop/hdfs-site.xml root@hadop52:/opt/soft/hadoop2.7/etc/hadoop

 

7.清空hadoop安装目录下tmp/dir目录中所有文件

 rm -rf *

初始化namenode节点的hadoop:

 hadoop namenode -format

8.开启或关闭hadoop服务的相关命令

开启一个软件：
1、hadoop-daemon.sh start namenode
2、hadoop-daemon.sh start datanode
3、hadoop-daemon.sh start secondarynamenode  （hadoop-daemon.sh stop 关闭一个软件）
4、yarn-daemon.sh start resourcemanager
5、yarn-daemon.sh start nodemanager

start-dfs.sh 一次性打开三个软件1、2、3  HDFS开启服务
stop-dfs.sh  一次性关闭三个软件1、2、3     

start-yarn.sh 一次性打开两个软件4、5  MapReduce使用
stop-yarn.sh  一次性关闭两个软件4、5

start-all.sh    一次性打开5个软件1、2、3、4、5
stop-all.sh     一次性关闭5个软件1、2、3、4、5

9.访问50070端口