Hadoop高手之路2—Hadoop集群的基础设置

Posted 2022-11-26 W_chuanqi

文章目录

• Hadoop集群的基础设置
• • 一、虚拟机软件的安装
  • 二、创建虚拟机，安装CentOS
  • • 1.下载CentOS
    • 2.创建虚拟机
    • 3.编辑虚拟机设置
    • 4.安装centos7.9mini版本
    • 5.启动centos，并进行登录
    • 6. 退出root登录，用user1登录
  • 三、CentOS网络配置
  • • 1. 查看本地windows主机的网络适配器
    • 2. 查看虚拟机网络地址配置区间
    • 3. 查看本地windows主机的IP地址
    • 4. 虚拟机ip配置
    • • 1) 动态IP配置方式（dhcp）
      • 2) 静态IP配置方式
  • 四、远程连接工具连接虚拟机（云服务器）
  • • 1. ssh2协议
    • 2. ssh2工具
    • 3. securecrt工具的使用
    • • 3.1 下载
      • 3.2 解压
      • 3.3 安装
      • 3.4 破解
      • 3.5 启动securecrt连接虚拟机
  • 五、安装一个好用的文本编辑器notpad++
  • • 1. 下载
    • 2. 安装
  • 六、虚拟机配置主机名
  • • 1. 永久修改主机名
    • 2. 建立虚拟机主机名和ip地址的映射关系
    • 3. 建立本地windows主机中虚拟机主机名和虚拟机ip的映射关系
  • 七、新建hadoop集群搭建需要的文件夹
  • 八、备份虚拟机
  • • 1. 克隆虚拟机
    • 2. 虚拟机快照
    • 3. 从快照恢复
    • 4. 快照管理器
    • 5. 虚拟机迁移
    • • 1) 导出为ovf
      • 2) 导入

Hadoop集群的基础设置

一、虚拟机软件的安装

安装VMware或者VirtualBox

这里使用的是VMware 16，网上都有相关的包和密钥

二、创建虚拟机，安装CentOS

1.下载CentOS

可以到官网：https://www.centos.org/download/ 或者国内的镜像网站进行下载

这里我们到官网进行下载，选择x86_64版本的

这里我们选择 7.9 版本的

搭建集群的话，不需要太大的，这里我们选择 mini 版本

2.创建虚拟机

打开VMware，点击文件，点击新建虚拟机

选择自定义模式，然后点击下一步

根据你的VMware选择对应版本（一般默认就可以），点击下一步

选择稍后安装操作系统，点击下一步

选择Linux(L)、CentOS 7 64位（默认就好），点击下一步

设置虚拟机名称和位置，注意不要放在C盘里，点击下一步

设置内核数量和虚拟机数量，点击下一步

设置分配给虚拟机的内存，16G的内存设置2G就可以了，点击下一步

网络类型这里使用 NAT，点击下一步

跟着推荐走，点击下一步

选择创建新虚拟磁盘，点击下一步

设置磁盘容量，这里为20G，点击洗衣部

这里不做修改，点击下一步

点击完成

这样虚拟机就创建好了

3.编辑虚拟机设置

找到 编辑虚拟机设置

找到下载好的CentOS文件

4.安装centos7.9mini版本

点击 开启虚拟机

点击安装

选择安装语言

选择安装磁盘

开始安装

设置root密码

创建普通用户

安装成功后重启

安装成功后重启

5.启动centos，并进行登录

出现#提示符，说明登录成功，输入exit退出登录

6. 退出root登录，用user1登录

出现 $ 提示符，说明登录成功

三、CentOS网络配置

1. 查看本地windows主机的网络适配器

打开设置，找到网络和Internet，点击更改网络适配器

我们可以看到 VMnet1和 VMnet8

2. 查看虚拟机网络地址配置区间

注意：此处每个人的网络配置区间都是不一样的

3. 查看本地windows主机的IP地址

按win+r打开运行

进入命令提示符

4. 虚拟机ip配置

IP配置参数：

• IP地址：点分十进制，四位十进制数用点进行分割，0~255
• 子网掩码：
• 网关：
• DNS：用于域名和ip地址的转换

修改网卡的配置文件：

打开虚拟机，进入 root 用户下，进入 /etc/sysconfig/network-scripts/ 目录下

输入 ll，查看目录下文件

用 vi 编辑器修改配置文件

1) 动态IP配置方式（dhcp）

虚拟机通过dhcp协议动态获取ip地址，有可能每一次启动虚拟机获取的ip地址都是不一样的，这是不推荐使用的

将 ONBOOT 项修改为yes，保存退出

重启虚拟机

查看虚拟机ip地址配置

测试连通情况

说明网络配置是没问题的

2) 静态IP配置方式

修改网卡的配置文件，将ONBOOT修改为 static

重启网络服务，systemctl restart network

查看网络服务状态，systemctl status network，处于激活状态

查看ip地址设置情况

测试连通情况

说明静态ip配置是成功的

四、远程连接工具连接虚拟机（云服务器）

1. ssh2协议

当我们需要远程登录到服务器上进行操作的时候，一般就会用ssh。ssh是secure shell的简称，它相对于早起的telnet和rsh的明文传输，提供了加密、校验和压缩，使得我们可以很安全的远程操作， 而不用担心信息泄露(当然不是绝对的，加密总有可能被破解，只是比起明文来说那是强了不少)。

2. ssh2工具

推荐几款SSH工具

这里我们推荐使用 XShell /SecureCRT

3. securecrt工具的使用

3.1 下载

3.2 解压

3.3 安装

同意协议，点击下一步

点击下一步

接下来点击 “Custom”（自定义安装），然后点击下一步

修改为自己想设置的路径

这里两个都进行勾选，点击下一步

点击 install 进行安装

安装完成

3.4 破解

参考下面的教程

SecureCRT注册激活教程

3.5 启动securecrt连接虚拟机

说明远程连接虚拟机成功

五、安装一个好用的文本编辑器notpad++

1. 下载

2. 安装

六、虚拟机配置主机名

1. 永久修改主机名

输入 exit 退出

重新登录可以看到主机名已经发生了变化，reboot重启主机后也被修改

2. 建立虚拟机主机名和ip地址的映射关系

主机名和ip地址映射关系保存在/etc/hosts文件中，修改该文件

修改为

保存退出

测试：

3. 建立本地windows主机中虚拟机主机名和虚拟机ip的映射关系

按win+r，打开运行窗口

点击 etc 文件

注意：修改hosts文件需要管理员权限

测试

七、新建hadoop集群搭建需要的文件夹

在根目录下创建/export文件夹，在该文件夹下创建data、software和servers三个子文件夹

八、备份虚拟机

1. 克隆虚拟机

克隆虚拟机之前，最好关闭虚拟机（不要直接关闭虚拟机）

2. 虚拟机快照

3. 从快照恢复

4. 快照管理器

5. 虚拟机迁移

非必要不要进行尝试

1) 导出为ovf

2) 导入