hadoop运行环境搭建hadoop2.7.2安装Hadoop目录结构

Posted 2022-05-23 爱上口袋的天空

1、准备一台虚拟机，并且创建相关用户

1、首先Linux环境，centos7

        ip：192.168.56.20

        hostname: hadoop01

 2、创建用户kgf

useradd kgf
passwd kgf

  创建名为kgf的用户，并设置密码      

3、配置用户具有sudo权限

        输入命令vi /etc/sudoers来编辑文件

 

2、 安装jdk

1、在opt目录下创建两个目录

2、 将jdk上传到software目录下

3、解压并且配置jdk 环境变量

tar -zxvf jdk-8u191-linux-x64.tar.gz

 sudo vi /etc/profile：

 

#JAVA_HOME
export JAVA_HOME=/opt/software/jdk1.8.0_191/
export PATH=$PATH:$JAVA_HOME/bin

4、让修改后的文件生效

        source /etc/profile

 

3、安装hadoop

1、Hadoop下载地址

        Index of /dist/hadoop/common/hadoop-2.7.2

 

2、将下载的安装包上传到/opt/software/目录下，并解压安装文件到/opt/module下面

[kgf@hadoop01 software]$ ll
total 394340
-rw-rw-r--. 1 kgf kgf 212046774 May 22 12:08 hadoop-2.7.2.tar.gz
-rw-rw-r--. 1 kgf kgf 191753373 May 22 11:12 jdk-8u191-linux-x64.tar.gz
[kgf@hadoop01 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C ../module/

3、将Hadoop添加到环境变量

        sudo vim  /etc/profile 

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、让修改后的文件生效

source /etc/profile

5、测试是否安装成功

 

4、Hadoop目录结构

1、查看Hadoop目录结构

[kgf@hadoop01 hadoop-2.7.2]$ ll
total 28
drwxr-xr-x. 2 kgf kgf   194 Jan 26  2016 bin
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 etc
drwxr-xr-x. 2 kgf kgf   106 Jan 26  2016 include
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 lib
drwxr-xr-x. 2 kgf kgf   239 Jan 26  2016 libexec
-rw-r--r--. 1 kgf kgf 15429 Jan 26  2016 LICENSE.txt
-rw-r--r--. 1 kgf kgf   101 Jan 26  2016 NOTICE.txt
-rw-r--r--. 1 kgf kgf  1366 Jan 26  2016 README.txt
drwxr-xr-x. 2 kgf kgf  4096 Jan 26  2016 sbin
drwxr-xr-x. 4 kgf kgf    31 Jan 26  2016 share
[kgf@hadoop01 hadoop-2.7.2]$

2、重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例