hadoop完全分布式搭建

Posted 2020-11-21 hantics

Overview：过程有很多帖子都解释了如何搭建，本文主要列举需要做的事情，然后在文末提供一个非常详细的搭建教程，方便大家使用。

我这里是使用了3台服务器搭建分布式平台，每台机子都需要配置java的开发环境，hadoop的四个XML文件，host名称和profile配置文件，特别需要注意的是master节点需要在/etc/hadoop目录下配置slave文件（配置节点信息，不然主机启动，slave节点不会启动），master节点需要配SSH免密码登录。

另外需要注意的是，每台机子配的hadoop的环境其实是一模一样的，装好一台，复制过去就行。master节点在加一些特殊配置就ok了

基础环境

　　　　Euler2.1   192.168.0.1    master

　　　Euler2.1   192.168.0.2    slave1

　　　Euler2.1   192.168.0.3    slave2

一、三台机子都要配的JAVA,XML*4，host，profile

       1.master节点先配一下java的环境，网上资料很多

       2.先后配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、host、profile，具体参考文末给出的文档

　　3.分别从其他slave节点复制hadoop和java环境

　　　　　　scp -r [email protected]:/root/zhn_hadoop/hadoop  /root/zhn_hadoop/

二、master配置slave文件和免密登录

　　1.master节点在hadoop/etc/hadoop/slave文件需要配置主从信息

　　　　192.168.0.1 master

　　　　192.168.0.2 slave1

　　　　192.168.0.3 slave2

　　2.SSH免密登录参考文末文件【配置SSH】

 

 

完全分布式搭建教程：