Hadoop伪分布式集群搭建总结

Posted 2021-03-26

Hadoop伪分布式集群搭建总结

一、所需软件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安装
注意：
对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操作为：点击键盘上的Esc按钮，然后输入英文的:字符，再输入wq，点击回车，完成文件的保存。
1、关闭防火墙和禁用SELINUX
（1）、永久关闭防火墙，重启Linux系统

（2) 、禁用SELINUX：修改文件参数 重启Linux使其生效

（3）、检查防火墙是否运行，显示下图即为关闭

2、配置hostname与IP地址之间的对应关系
（1）、查看自己的IP

（2）、查看自己的hostname

（3）、配置对应关系

注意：IP与hostname之间有空格
3、创建用户
（1），创建hadoop用户

（2）、为hadoop用户设置密码

4、配置 SSH免密登录
（1）、检查自己系统是否安装SSH

注意：若没安装SSH则在有网的情况下可输入：yum install openssh-server 进行安装。
（2）、为hadoop用户配置SSH免密登录

注意：一定要切换到hadoop用户下并进入“~”目录！

注意：输入ssh-keygen -t rsa后一直回车即可！
然后进入.ssh目录进行以下操作

注意：“authorized_keys”一定要准确！**``**
进入“~”目录为.ssh目录及其文件赋予相应权限

5、JDK安装
（1）、创建存放软件目录

（2）、上传解压jdk

注意：确保红框内权限为hadoop的！如果为root，可进入root用户修改为hadoop， 命令为:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然后重新进入hadoop用户进行解压
（3）、为jdk1.8.0_211创建软连接

（4）、配置bashrc文件

使配置文件生效

（5）、验证JDK是否安装成功，显示下图即为成功

6、hadoop安装及配置
（1）、上传解压hadoop

注意：确保红框内权限为hadoop的！如果为root，可进入root用户修改为hadoop 命令为：chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然后重新进入hadoop用户进行解压

（2）、进入hadoop配置文件目录进行相应文件配置

配置core-site.xml vi core-site.xml

注意：箭头所指应为自己的hostname
配置hdfs-site.xml vi hdfs-site.xml

配置hadoop-env.sh vi hadoop-env.sh

注意：此路径为JDK的安装目录
配置mapred-site.xml vi mapred-site.xml

配置yarn-site.xml vi yarn-site.xml

配置slaves vi slaves

注意：此为自己的hostname
（3）、为hadoop-2.7.3创建软连接

（4）、配置bashrc文件

使配置文件生效

（5）、创建hadoop相关数据目录

（6）、格式化Namenode hadoop namenode -format

注意：出现以上2个信息即为成功！如果出现要输入密码等情况，检查自己的SSH免密登录是否配置正确！！！
（7）、启动hadoop伪分布式集群

注意：出现以上信息输入yes即可！！！
（8）、通过jps命令查看hadoop的启动进程

注意：出现以上5个进程即为hadoop伪分布式集群启动成功