伪分布式集群搭建（hadoop）

Posted 2022-08-29 不会代码的小林~

1.安装VMware Tools

•         创建文件，实现挂载 

•         创建文件夹software装软件的安装包、module装解压后的安装包
•         将VMwareTools的安装包移动到software文件中进行解压

•         解压后运行./vmware-install.pl

•         看到如下语句说明安装成功

 

2.卸载自带的jdk

3.安装linux下的jdk

• 连接shell运用xftp传输jdk安装包、hadoop安装包
• 解压jdk安装包

•  配置jdk系统环境变量
• 运行source /etc/profile使配置文件生效

#java
export JAVA_HOME=/opt/module/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

• 出现下图说明配置成功

4.修改主机名、/etc/hosts

• bash后主机名才会修改生效

5.关闭防火墙、永久关闭防火墙

6.ssh免密登录

• ssh-keygen -t rsa
• ssh-copy-id root@主机名

7.安装hadoop、配置hadoop系统环境变量

• 解压hadoop安装包

•  到/etc/profile下修改hadoop的系统环境变量

#hadoop
export HADOOP_HOME=/opt/module/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

• 出现下图说明hadoop安装成功

8.配置hadoop配置文件 etc/hadoop/hadoop-env.sh

9.配置hadoop核心配置文件 etc/hadoop/core-site.xml

10.配置hadoop配置文件 etc/hadoop/hdfs-site.xml

11.mapreduce配置文件 etc/hadoop/mapred-site.xml

12.yarn配置文件 etc/hadoop/yarn-site.xml

13.从节点配置文件 etc/hadoop/slaves

14.格式化HDFS系统

• 格式化命令：hadoop namenode -format

• 出现Exiting with status 0 说明格式化成功

15.启动HDFS

• 启动网页：http://root:50070/
• 启动成功则HDFS部署成功

16.启动YARN

 

• 启动：http://root:8088/
• 启动成功则YARN部署成功

17.设置静态ip（补）

• 命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33

• 运行：service network restart 进行网卡重启
• 运行ifconfig后查看ip地址，若ip地址变成自己设置的ip地址即成功，反之则失败