基于linux服务器搭建hadoop平台

Posted 2022-01-26 孟意昶

因为在阿里云租了一台linux服务器，所以打算在上面搞点东西，这次先安装hadoop平台。

准备工作

1. 准备JDK安装包：在网址http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载压缩包jdk-8u311-linux-x64.tar.gz
2. 准备hadoop安装包：在网址https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.1下载压缩包hadoop-3.3.1.tar.gz

文件解压与配置

以linux云服务器为例，在/usr/java/路径下执行tar -zxvf jdk-8u311-linux-x64.tar.gz
解压完成后，需要修改配置文件，vim /etc/profile
在文本的末尾添加

export JAVA_HOME=/usr/java/jdk1.8.0_311
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export JAVA_PATH=$JAVA_HOME/bin:$JRE_HOME/bin
export PATH=$PATH:$JAVA_PATH

需要注意的是，路径是根据实际路径进行填写的，文件保存后，需要执行source /etc/profile确认配置文件
最后执行java -version，判断是否配置好了JDK，如果运行结果与下面代码类似

[root@iZbp1fuss5tg7yiacreowzZ ~]# java -version
java version "1.8.0_311"
Java(TM) SE Runtime Environment (build 1.8.0_311-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.311-b11, mixed mode)

则表示已安装完成。

安装hadoop的方式与JDK类似
也是先进行解压tar -zxvf hadoop-3.3.1.tar.gz，随后配置环境变量vim /etc/profile，在末尾加上

export HADOOP_HOME=/usr/hadoop/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

执行source /etc/profile确认配置文件，再执行hadoop -version，出现一堆代码则表示安装完成