Hadoop从零开始配置安装

Posted 2021-12-21 小帅吖

云计算课程笔记

虚拟机软件：VmWare 15.5 虚拟机：CentOS 7

1.配置网络

打开虚拟网络编辑器，右下更改设置，更改成如下：

2.修改IP地址

打开终端切换为root用户

su root

输入root用户密码，然后

cd /etc/sysconfig/network-scripts

 ls

 vi ifcfg-ens33

刚进去更改前状态

按字母i进入编辑模式
更改

1. BOOTPROTO =“static”
2. IPADDR=“172.16.50.100”
3. GATEWAY=“172.16.50.2”
4. DNS1=“8.8.8.8”

按esc键，输入:wq保存退出

输入命令更新ip配置

service network restart

然后输入

ifconfig

回车

3.配置主机名

查看主机名

hostname

vi /etc/hostname

更改为想用的主机名

保存退出
然后关闭终端重启虚拟机可以看到更改完成

为了和老师保持一致我重启进入root用户继续操作
输入命令

vi /etc/hosts

保存退出

4.防火墙设置

查看防火墙状态

service firewalld  status

关闭防火墙

service firewalld  stop

再次检查防火墙状态

service firewalld  status

永久关闭防火墙

systemctl disable firewalld.service

关闭selinux

vi /etc/selinux/config/

更改

保存退出

5.测试能否联网

输入

ping www.baidu.com

ctrl+c停止

6.Xshell使用

确定然后输入密码确定

7.在opt下创建一个目录修改权限

进入根目录

cd /

ll

bin和boot是启动相关目录
etc是环境相关目录
home中存放创建的用户
mnt下挂载硬盘
opt中安装软件
tmp是临时文件

让opt目录用于所有权限

进入opt目录

cd /opt

创建目录wdp

mkdir wdp

为wdp赋权限

chmod 777 wdp

wdp一般用hadoop而非root，这里就先这样

8.删除原装java的JDK并安装JDK和hadoop

查看jdk

rpm -qa | grep jdk

rpm -e --nodeps java-1.8.0-openjdk-headless 

 rpm -e --nodeps java-1.8.0-openjdk 

ctrl+l清屏快捷键

传输jdk

在终端输入命令解压

tar -vxzf jdk-8u172-linux-x64.tar.gz -C /opt/wdp

tar -zxvf hadoop-2.7.6.tar.gz -C /opt/wdp

安装完毕
名字太长换一下

mv jdk1.8.0_172/ jdk

mv hadoop-2.7.6/ hadoop

换名完毕

9.配置jdk环境变量

vi /etc/profile

shift+g

到最后一行
按o进入编辑模式

export JAVA_HOME=/opt/wdp/jdk
export PATH=$PATH:$JAVA_HOME/bin

然后保存退出
使上面的配置生效

source /etc/profile

检查是否生效

echo $PATH

或者

java -version

10.配置hadoop环境变量

cd hadoop/

cd etc/

cd hadoop/

vi hadoop-env.sh

export JAVA_HOME=/opt/wdp/jdk

然后保存退出
然后配置hadoop环境变量

vi /etc/profile

shift+g到最后一行
按o
在最后添加代码

export HADOOP_HOME=/opt/wdp/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin	

保存退出

使上面的配置生效

source /etc/profile

检查hadoop是否可用

hadoop version

到此为止hadoop安装完毕