hadoop集群拓扑配置

Posted 资深咸鱼~

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop集群拓扑配置相关的知识,希望对你有一定的参考价值。

目录: 

  1. 启动4台虚拟机
  2. Xshell分别连接4台虚拟机
  3. 分别配置静态IP以及网关
  4. 分别修改主机名
  5. 在主机master机器中追加配置
  6. 在主机master生成密钥并进行拷贝
  7. 验证是否集群成功

详细步骤: 

1.启动4台虚拟机

没有安装的就按下面的教程安装即可,安装4台虚拟机后启动

hadoop虚拟机安装(傻瓜式教程)_资深咸鱼~的博客-CSDN博客

2.Xshell分别连接4台虚拟机

也是按上面的教程连接,一个虚拟机连接一个会话端口 

3.分别配置静态IP以及网关

 两种方法:

 第一种:在虚拟机页面输入

vi /etc/sysconfig/network-scripts/ifcfg-ens33

进入这个文件

  

 输入下面的内容,修改成图中所示的情况

BOOTPROTO=static # dhcp 换成 static

ONBOOT=yes # no 换成 yes

追加配置:

IPADDR=192.168.[自己].100 # 静态 IP

GATEWAY=192.168.[自己].1 # 默认网关

 第二种:在xshell中输入

vi /etc/sysconfig/network-scripts/ifcfg-ens33

也是进入这个文件

输入下面的内容,修改成图中所示的情况

BOOTPROTO=static # dhcp 换成 static

ONBOOT=yes # no 换成 yes

追加配置:

IPADDR=192.168.[自己].100 # 静态 IP

GATEWAY=192.168.[自己].1 # 默认网关

输入

service network restart

 使文件生效

两种方法的区别就是一个是在虚拟机中输入,一个是在Xshell中输入,输入的内容没有区别

值得注意的地方就是:

(1)上面提到的[自己]中填写的是主机地址的第三位数字,比如你的地址是192.168.200.135,那么在[自己]处填写的就是200

(2)在每一个虚拟机里面都得修改,修改的内容一样,除了静态IP,比如第一个虚拟机写的100,那么后面分别就是101,102,103

4.分别修改主机名

每一个会话端口内都要输入

vi /etc/hostname

 进入这个文件后将localhost.localdomain改成会话名 

然后退出来 

 5.在主机master机器中追加配置

在master会话中输入:

vi /etc/hosts

 进入文件后,追加配置,输入:

192.168.[自己].100 master

192.168.[自己].101 slave01

192.168.[自己].102 slave02

192.168.[自己].103 slave03

 然后退出来 

6. 在主机master生成密钥并进行拷贝

生成密钥:

ssh-keygen -t rsa

拷贝: 

scp -r /etc/hosts slave01:/etc/hosts

scp -r /etc/hosts slave02:/etc/hosts

scp -r /etc/hosts slave03:/etc/hosts

标红的位置写自己取的会话名

密码就是之前创建虚拟机设置的密码

7.验证是否集群成功 

在主机master会话端口输入:

ssh root@slaver01

 就会从master直接进入到slave01端口,也就是免密登录了另一台虚拟机

但是前提是slave01的虚拟机处于开启的状态,否则就连接不上,报错

 连接上了的效果图为:

以上是关于hadoop集群拓扑配置的主要内容,如果未能解决你的问题,请参考以下文章

2.2 Hadoop核心组件与Hadoop集群

Hadoop集群配置

学习笔记Hadoop—— Hadoop集群的安装与部署—— 配置Hadoop集群

hadoop集群配置

搭建hadoop集群,稳定运行多久

Hadoop集群及组件