Ubuntu下单机安装Hadoop详细教程（附所需安装包下载）

Posted 2021-10-10 Z.Q.Feng

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Ubuntu下单机安装Hadoop详细教程（附所需安装包下载）相关的知识，希望对你有一定的参考价值。

前言

本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中 Java 版本为1.8.0_301，Hadoop 版本为3.3.1，其他版本的安装请参考其他博客。

Hadoop 单机安装基本配置主要包括以下几个步骤：

创建 Hadoop 用户
更新 apt 和安装 Vim 编辑器
安装 SSH 和配置 SSH 无密码登录
安装 Java 环境
安装单机 Hadoop

这里我的操作系统环境是 Ubuntu20.04，此安装方法同样适用于低版本。

一、创建Hadoop用户

创建用户命令如下：

sudo useradd -m hadoop -s /bin/bash

接着为 hadoop 用户设置密码，建议三位数，不用太长也要便于记忆：

sudo passwd hadoop

然后为 hadoop 用户增加管理员权限：

sudo adduser hadoop sudo

二、更新apt和安装Vim编辑器

首先更新 apt：

sudo apt-get update

接着安装 Vim 编辑器：

sudo apt-get install vim

若电脑已安装则可跳过此步骤。

三、安装SSH和配置SSH无密码登录

Ubuntu 操作系统下默认已安装了 SSH 客户端，因此这里我们只需安装 SSH 服务端：

sudo apt-get install openssh-server

安装后，可使用以下命令登录本机：

ssh localhost

输入 yes 与用户密码，就可以登录到本机，详细输出如下：

zq@fzqs-computer [11时22分50秒] [/home/hadoop/Downloads]
-> % ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is SHA256:YMFv60J4eT7***c3SA8sfuXU.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
zq@localhost's password:
Welcome to Ubuntu 20.04.3 LTS (GNU/Linux 5.11.0-36-generic x86_64)

* Documentation: https://help.ubuntu.com
* Management: https://landscape.canonical.com
* Support: https://ubuntu.com/advantage

0 updates can be applied immediately.

Your Hardware Enablement Stack (HWE) is supported until April 2025.

The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

接着我们退出 SSH 登录，配置无密码登录：

exit

cd ~/.ssh/

ssh-keygen -t rsa

cat ./id_rsa.pub >> ./authorized_keys

此时再用 ssh localhost 命令无需密码即可登录了。

四、安装Java环境

1. 安装JDK

对于 Hadoop3.1.3 及以上版本而言，需要使用 JDK1.8 或者更新的版本，这里我们使用的 JDK 版本为1.8.0_301，安装包可以从 Oracle 官网下载：Java Downloads | Oracle

也可从 CSDN 链接下载：linux jdk-8u301-linux-x64.tar.gz

接着在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件：

cd /usr/lib

sudo mkdir jvm

解压缩之前的 JDK 文件到上述目录中：

cd ~/Downloads

sudo tar -zxvf ./jdk-8u301-linux-x64.tar.gz -C /usr/lib/jvm

2. 配置JDK环境

使用 vim 编辑器编辑环境变量：

vim ~/.bashrc

按下 i 键，进入编辑模式，在文件中添加以下几行内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

按下 ESC 键，输入 :wq 保存并退出，接着使我们刚加入的环境变量生效：

source ~/.bashrc

3. 检验安装

输入以下命令：

java -version

若出现如下输出则说明安装成功：

hadoop@fzqs-computer:~$ java -version

java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)

五、安装单机Hadoop

1. 下载安装Hadoop

下载地址：https://hadoop.apache.org/releases.html#Download，这里我安装的 Hadoop 版本为3.3.1，下载好后，执行以下命令安装：

sudo tar -zxf ~/Downloads/hadoop-3.3.1.tar.gz -C /usr/local

修改目录名称并赋予可执行权限：

cd /usr/local

sudo mv ./hadoop-3.3.1/ ./hadoop

sudo chown -R hadoop ./hadoop

进入 hadoop 文件夹，查看安装的 Hadoop 版本信息：

hadoop@fzqs-computer:/usr/local$ cd ./hadoop

hadoop@fzqs-computer:/usr/local/hadoop$ ./bin/hadoop version

Hadoop 3.3.1
Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2
Compiled by ubuntu on 2021-06-15T05:13Z
Compiled with protoc 3.7.1
From source with checksum 88a4ddb2299aca054416d6b7f81ca55
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.3.1.jar

若出现如上输出，则说明 Hadoop 安装成功。