Hadoop之运行环境搭建

Posted 放下包袱,继续前行!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop之运行环境搭建相关的知识,希望对你有一定的参考价值。

一、虚拟机环境准备

1、克隆虚拟机

2、修改克隆虚拟机静态IP

3、修改主机名

4、关闭防火墙

5、创建hadoop用户

6、配置hadoop用户具有root权限

7、在/opt 目录下创建文件夹

  1)在/opt 目录下创建module、software文件夹

1 [hadoop@hadoop101 opt]$ sudo mkdir module
2 [hadoop@hadoop101 opt]$ sudo mkdir software

  2)修改module、software文件夹的所有者

[hadoop@hadoop101 opt]$ sudo chown hadoop:hadoop module/ software/
[hadoop@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 hadoop hadoop 4096 1月  17 14:37 module
drwxr-xr-x. 2 hadoop hadoop 4096 1月  17 14:38 software

 

二、安装JDK

1、卸载现有JDK

  1)查询是否安装Java软件

[hadoop@hadoop101 opt]$ rpm -qa | grep java

  2)如果安装的版本低于1.7,卸载该JDK:

[hadoop@hadoop101 opt]$ sudo rpm -e 软件包

  3)查看JDK安装路径:

[hadoop@hadoop101 ~]$ which java

2、将jdk软件包 上传至/opt/software/目录下

3、解压 JDK 到/opt/module/ 目录下

[hadoop@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

4、配置JDK 环境变量

  1)先获取JDK路径

[hadoop@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

  2)打开 /etc/profile 文件  

[hadoop@hadoop101 software]$ sudo vi /etc/profile

  在 profile 文件末尾添加JDK路径

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

  3)保存后退出

     :wq

  4)让修改后的文件生效  

[hadoop@hadoop101 jdk1.8.0_144]$ source /etc/profile

5、测试 jdk 是否安装成功

[hadoop@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

  注意:重启(如果java -version 可以用就不用重启)

[hadoop@hadoop101 jdk1.8.0_144]$ sync
[hadoop@hadoop101 jdk1.8.0_144]$ sudo reboot

 

三、安装Hadoop

1、hadoop下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

2、将下载好的tar包上传至/opt/software/ 目录下

3、解压安装文件至/opt/module 下

[hadoop@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4、将 hadoop 添加到环境变量

  1)获取hadoop安装路径

[hadoop@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

  2)编辑/etc/profile文件  

[hadoop@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

  在profile 文件末尾添加 hadoop路径:

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

  3)保存后退出

  :wq

  4)让修改后的文件生效

[hadoop@ hadoop101 hadoop-2.7.2]$ source /etc/profile

5、测试是否安装成功

[hadoop@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2

6、重启(如果hadoop命令不能使用)

[hadoop@ hadoop101 hadoop-2.7.2]$ sync
[hadoop@ hadoop101 hadoop-2.7.2]$ sudo reboot

 

四、hadoop目录结构

1、查看hadoop目录结构

2、重要目录

  1)bin:存放hadoop相关服务(hdfs、yarn)进行操作的脚本

  2)etc:hadoop的配置文件目录,存放hadoop的配置文件

  3)lib:存放hadoop的本地库(对数据进行压缩解压缩功能)

  4)sbin:存放启动或停止hadoop相关服务的脚本

  5)share:存放hadoop的依赖jar包、文档、和官方案例。

 

以上是关于Hadoop之运行环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

湿货|大数据测试之hadoop单机环境搭建(超级详细版)

大数据技术之Hadoop(入门)概述运行环境搭建运行模式

大数据技术之Hadoop(入门)概述运行环境搭建运行模式

打怪升级之小白的大数据之旅(四十二)<Hadoop运行环境搭建>

Hadoop之运行环境搭建

Hadoop基础教程4Hadoop之完全分布式环境搭建