hadoop3.1.1 HA高可用分布式集群安装部署

Posted 2021-02-05 lufan2008

1、环境介绍

　　服务器：CentOS 6.8 其中：2 台 namenode、3 台 datanode

　　JDK：jdk-8u191-linux-x64.tar.gz

hadoop：hadoop-3.1.1.tar.gz

节点信息：

节点	IP	namenode	datanode	resourcemanager	journalnode
namenode1	192.168.67.101	√		√	√
namenode2	192.168.67.102	√		√	√
datanode1	192.168.67.103		√		√
datanode2	192.168.67.104		√		√
datanode3	192.168.67.105		√		√

2、配置ssh免密登陆

　　2.1 在每台机器上执行 ssh-keygen -t rsa

　　2.2 vim ~/.ssh/id_rsa.pub 将所有机器上的公钥内容汇总到 authorized_keys 文件并分发到每台机器上。

　　2.3 授权 chmod 600 ~/.ssh/authorized_keys

3、配置hosts： 

vim /etc/hosts

#增加如下配置
192.168.67.101 namenode1
192.168.67.102 namenode2
192.168.67.103 datanode1
192.168.67.104 datanode2
192.168.67.105 datanode3

#将hosts文件分发至其他机器
scp -r /etc/hosts namenode2:/etc/hosts
scp -r /etc/hosts datanode1:/etc/hosts
scp -r /etc/hosts datanode2:/etc/hosts
scp -r /etc/hosts datanode3:/etc/hosts

4、关闭防火墙

service iptables stop
chkconfig iptables off

5、安装JDK

tar -zxvf /usr/local/soft/jdk-8u191-linux-x64.tar.gz -C /usr/local/

vim /etc/profile

#增加内容
export JAVA_HOME=/usr/local/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

生效环境变量：source /etc/profile