（非常详细）大数据平台学习·环境安装配置（RockyLinux9版）

Posted 火花花spark

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了（非常详细）大数据平台学习·环境安装配置（RockyLinux9版）相关的知识，希望对你有一定的参考价值。

一.文章简介

着手搭建大数据平台时，配置虚拟机环境是成为新手的第一道门槛。虽然各种视频和网站上也有很多虚拟机安装配置教程，但由于对 Linux 环境不熟悉，同时加上网上不少教程都是五花八门的centos，ubuntu等各种不同版本的Linux系统导致具体步骤也不一样，导致小白折腾老几天愣是没装成功（下面我将详细的介绍虚拟机安装与环境配置）

文章目录

二.资源准备

虚拟机软件: VMware Workstation
VMware官方下载地址
（注意：VMware需要许可证，建议百度）

客户机操作系统：Rocky Linux 9
RockyLinux官方下载地址

SSH连接工具：XShell7、Xftp7
XShell下载地址
Xftp下载地址
（注意：XShell和Xftp都是需要付费购买的）

三.创建虚拟机教程

1.首先对主从节点进行ip等分配

虚拟机名IP
master192.168.xxx.140
slaver1192.168.xxx.141
slaver2192.168.xxx.142
slaver3192.168.xxx.143

2.创建虚拟机

（1）打开VMware Workstation ， 点击左上角的文件 ，选择创建虚拟机

（2）选择自定义（高级），然后下一步

（3）一直下一步，直到安装客户机操作系统，此处选择稍后安装

（4）下一步，到选择客户机操作系统，选择Linux，版本是Red Hat Enterprise Linux 8 64位

（5）下一步，命名虚拟机，虚拟机名称建议采用master，位置自主选择，建议选择空闲容量具有100G以上的磁盘作为存储

（6）下一步，设置处理器，可按需求设置

（7）下一步，设置虚拟机内存，根据需求设置，最低1GB

(8）下一步，选择网络类型，选择NAT模式

（9）下一步，选择I/O控制器类型、选择磁盘类型都是默认选择**

（10）下一步，选择磁盘，此处选择创建新虚拟磁盘

（10）下一步，指定磁盘容量，此处根据需求设置

（11）下一步，指定磁盘文件，默认

（12）下一步，选择自定义硬件，点击新CD/DVD(SATA),右边连接选择使用ISO映像文件，选择下载好的RockyLinux 9 iso文件

（13）点击下方添加，选择网络适配器，将新增的网络适配器选择仅主机模式。

（14）点击完成退出，此时虚拟机已创建，等待配置Linux系统

四.安装RockyLinux 9系统

1. 开启虚拟机，耐心等待挂载

2.选择安装过程语言，看个人需求选择

3.配置Languages Support

此处建议配置中英两种语言，不建议纯中文，因为如果出现报错，中文呈现会是乱码形式。

4.配置Software Selection，选择最小安装

5.配置Installation Destation，选择全选磁盘

6.配置Network & Host Name

此处选择我们新增的网卡适配器，选中后，右下角点击configure进入网卡配置，点击IPv4 Settings

然后，将method选择为Manual，并且在Address处，新增网络，如下图所示

7.配置root账号和密码（非常重要，密码一定要记住）

8.配置User Creation，建立大数据专用账号(一定要勾选选择为管理员，否则后续出现权限问题)

9.配置Time & Date

10.设置完成，点击 Begin Installation,耐心等待

11.安装完成后，重启虚拟机即可

五.基础信息配置

1.登录大数据专用账户spark

（注意：在Linux下，密码是不显示的）

2.下载相应工具，方便配置

(1）安装vim工具

命令： sudo dnf install vim

需要输入账户密码，然后安装过程中输入两次 y

（2）安装 net-tools工具

命令： sudo dnf install net-tools

3.配置主机名

命令：sudo vim /etc/hostname
讲本主机名修改为，输入命令后直接写 master 上去,重启后就能看到生效

4.配置hosts文件

命令 ：sudo vim /etc/hosts
将开始分配好的主机名和对应IP写入如下

5.克隆虚拟机

（1）关闭主节点虚拟机，在VMware上选择克隆

（2）下一步选择克隆自虚拟机中当前状态

（3）下一步，选择创建整克隆

（4）编辑新虚拟机名称和位置

（5）点击完成，克隆成功，用同样方法克隆剩下的两天从节点虚拟机

6. 修改三台从节点虚拟机配置

（1）修改主机名hostname，具体操作和master主节点一样

（2）修改网络配置

说明：修改新增的网卡适配器中的ipv4地址，将其修改为对应的IP
(rockyLinux 9采用新的网络管理工具，要特别注意)
命令：
sudo vim /etc/NetworkManager/system-connections/ens192.nmconnections
具体如下：

（3）修改后重启，其他从节点同样步骤修改

(4)使用ifconfig查看所有节点ip，看看是否配置正确

六.测试XShell7，Xftp7登录

1.打开XShell7，选择左上角文件，点击新建，弹出新建会话属性窗口

2.名称输入主机名，主机输入对应的IP

3.点击左侧用户身份验证，输入账号密码

4.其他从节点机器同样操作，测试是否成功连接

七.关闭防火墙

非常重要，一定要关闭
命令：
sudo systemctl stop firewalld.service
sudo systemctl diable firewalld.service

八.配置ssh免密登录

1.利用XShell同时操作所有虚拟机，生成密钥

命令：ssh-kengen -t rsa
期间需要多次按enter键确认

2.将主节点的密钥通过hosts上设定的从节点配置，发送给各节点

命令：ssh-copy-id 从节点主机名
期间需要输入一次yes和密码

其他两台同样操作

3.测试免密登录

下图所示就是成功免密登录

九.配置时间同步

由于ruckyLinux 9采用chrony来管理ntp，所以进入/etc/chrony.conf修改配置

命令：sudo vim /etc/chrony.conf

1.主节点新增如下配置

配置1：

配置2：

2.重启chrony工具，并设置开机自启动，查看运行状态

命令：
sudo systemctl status chronyd.service
sudo systemctl enable chronyd.service
sudo systemctl status chronyd.service

3.查看同步状态

命令1：chronyc sourcestats -v

命令2：timedatectl

4.对三个从节点同样的文件进行如下修改

注释掉pool行

5.同样重启chrony工具，并设置开机自启动，查看运行状态，检测同步状态

命令1：
sudo systemctl status chronyd.service
sudo systemctl enable chronyd.service
sudo systemctl status chronyd.service

命令2：chronyc sourcestats -v

命令3：timedatectl

总结：上面就是基本环境配置啦，这是非常关键的配置，大家一定要小心配置，如果有哪里写的不好，欢迎各位大佬评论区指正

以上是关于（非常详细）大数据平台学习·环境安装配置（RockyLinux9版）的主要内容，如果未能解决你的问题，请参考以下文章

大数据学习

超详细 WSL2安装+深度学习环境配置

大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署

大数据平台CDH5.14.2 的安装配置

大数据平台HDP-2.6.4安装与配置

大数据平台CDH6.1.0 安装配置