Hadoop2.7.3分布式环境准备

Posted 2020-08-20

一.安装CentOS7

CentOS-7-x86_64-DVD-1511.iso

下载地址：

http://vault.centos.org/

省略CentOS7安装部分

1.1 查看版本：

1.2 网络配置

主机名	IP
hadoop0	192.168.1.111
hadoop1	192.168.1.112
hadoop2	192.168.1.113

---

二.普通用需添加sudo 权限
2.1.从普通用户切换到root用户：

#su - root  

 2.2.运行visudo命令：

在root    ALL=(ALL)       ALL 下添加

用户名    ALL=(ALL)       ALL

---

三.修改主机名称

3.1 各主机名修改

hadoop0

# vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop0

# hostname hadoop0

hadoop1

# vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop1

# hostname hadoop1

hadoop2

# vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop2

# hostname hadoop2

3.2 时间同步

# yum install -y ntp #安装ntp服务

#ntpdate cn.pool.ntp.org#同步网络时间    

---

四.关闭防火墙

   由于centos从7开始默认用的是firewalld，这个是基于iptables的，虽然有iptables的核心，但是iptables的服务是没安装的。所以你只要停止firewalld服务即可： 

sudo systemctl stop firewalld

如果你要改用iptables的话，需要安装iptables服务： 

sudo yum install iptables-services 
sudo systemctl enable iptables && sudo systemctl enable ip6tables 
sudo systemctl start iptables && sudo systemctl start ip6tables

---

五.设置DNS解析

# sudo vim /etc/hosts 

192.168.1.111 hadoop0

192.168.1.112 hadoop1

192.168.1.113 hadoop2

---

 六.SSH免密码登录

分别在hadoop0,hadoop1,hadoop2上执行：

#  ssh-keygen -t rsa

使用rsa加密方式生成秘钥，回车后提示输入信息直接按回车三次

设置权限:

# chown lsq: ~/.ssh

# chown lsq: ~/.ssh/*

# chmod 700 ~/.ssh 

# chmod 600 ~/.ssh/*

 【注意：如果多次执行ssh，每次都需要确认，可能时配置失败，可以删除文件夹“.ssh”重新配置，如果还不行可以删除/etc/udev/rules.d/70-persistent-net.rules 文件重启系统】

在hadoop1上

# cp ~/.ssh/id_rsa.pub ~/.ssh/hadoop1.id_rsa.pub

# scp ~/.ssh/hadoop1.id_rsa.pub hadoop0:~/.ssh 

在hadoop2上

# cp ~/.ssh/id_rsa.pub ~/.ssh/hadoop2.id_rsa.pub

# scp ~/.ssh/hadoop2.id_rsa.pub hadoop0:~/.ssh 

在 hadoop0上

        # cd ~/.ssh

# cat id_rsa.pub >> authorized_keys

# cat hadoop1.id_rsa.pub >>authorized_keys

# cat hadoop2.id_rsa.pub >>authorized_keys

# scp authorized_keys hadoop1:~/.ssh

# scp authorized_keys hadoop2:~/.ssh

---

七.安装JDK

jdk1.8 百度云下载地址：

http://pan.baidu.com/s/1i5v4qk1  密码：m9qs

jdk版本：

jdk-8u101-linux-x64.tar.gz

    

7.1 在/usr/local下 解压jdk：

      # sudo tar -xzvf jdk-8u101-linux-x64.tar.gz

      # sudo mv ./jdk1.8.0_101/ jdk1.8

 

7.2 各个主机之间复制jdk

# scp -r /usr/local/jdk1.8 hadoop1:/usr/local/

# scp -r /usr/local/jdk1.8 hadoop2:/usr/local/

7.3 配置环境变量：

      # sudo vim /etc/profile

       加如下变量

export JAVA_HOME=/usr/local/jdk1.8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

7.4 使配置立即生效
      # source /etc/profile 

7.5 检查各个节点上JDK是否安装成功

      # java -version

  

---

至此开发环境搭建完工。

来自为知笔记(Wiz)