学习笔记Hadoop—— Hadoop集群的安装与部署—— Hadoop集群部署模式配置固定IP

Posted 2021-10-22 别呀

一、Hadoop集群部署模式

Hadoop的安装部署的模式一共有三种：

1. 独立模式（本地模式） standalone
   默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。
2. 伪分布模式 pseudo distributed
   在一台主机模拟多主机。即Hadoop的守护程序在本地计算机上运行，模拟集群环境，并且是相互独立的Java进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。类似于完全分布式模式，因此，这种模式常用来开发测试Hadoop程序的执行是否正确。
3. 完全分布模式 fulldistributed, Hadoop
   完全分布模式的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。

---

二、配置固定IP

2.1、虚拟机DHCP

DHCP（动态主机配置协议）是一个局域网的网络协议。指的是由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。

简单理解为给其他主机随机分配IP地址。

2.2、步骤

虚拟机克隆

虚拟机克隆分为“完整克隆”（Full Clone）和“链接克隆”（Linked Clone）两种方式：

• 完全克隆的虚拟机不依赖源虚拟机，是完全独立的虚拟机，它的性能与被克隆虚拟机相同。
• 链接克隆（Linked Clone）依赖于源虚拟机（称为父虚拟机）。由于链接克隆是通过父虚拟机的快照创建而成，因此节省了磁盘空间，而且克隆速度非常快，但是克隆后的虚拟机性能会有所下降。

虚拟机查看及修改机器名

注意：克隆机机器名仍是被克隆的机器名

修改机器名指令：

hostnamectl set-hostname master   #机器名改为master

虚拟机查看及修改IP

由于IP使用的是DHCP，所以IP可能会是在范围内的任意值。

进入ifcfg-ens33 修改IP：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后我们再修改个东西：

vi /etc/hosts

添加：192.168.128.10 master master.centos.com

修改完后重启服务器：

service network restart

最后通过：

ping master

出现下面则配置完成：

虚拟机集群

虚拟机克隆node1, node2, node3, 并修改机器名及IP

这里node1为例：
修改机器名：

hostnamectl set-hostname node1  #node2、node3机器名就改为node2、node3

修改IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

node1、node2、node3都配置完后，在master 、node1、node2、node3分别在在/etc/hosts添加如下：

192.168.128.10 master master.centos.com
192.168.128.11 node1 node1.centos.com
192.168.128.12 node2 node2.centos.com
192.168.128.13 node3 node3.centos.com

如：

完成之后，使用ping指令查看情况

ping node1   #ping node2    ping node3

---