hadoop搭建在Ubuntu16.04上

Posted 2020-10-02

一、环境

Ubuntu16.04、Hadoop2.7.3、java8

 

系统安装完成后建议先更新一下 apt源

 

1、复制原文件备份

sudo cp /etc/apt/source.list /etc/apt/source.list.bak

2、编辑源列表文件

sudo vim /etc/apt/source.list

3、将原来的列表删除，添加如下内容（更换阿里的镜像，也可以更换其他的）

deb http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse

4、运行sudo apt-get update

5、运行sudo apt-get upgrade

二、安装SSH、配置SSH无密码登陆

1. sudo apt-get install openssh-server
2. ssh localhost
3. 输入yes，输入当前帐号的密码

4. exit # 退出刚才的 ssh localhost
   cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
   ssh-keygen -t rsa # 会有提示，都按回车就可以
   cat ./id_rsa.pub >> ./authorized_keys # 加入授权

这样就可以无密码登录了。

三、安装Java环境

随意搜索一下就好，注意安装java8

四、安装hadoop

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，一般选择下载最新的稳定版本，即下载 “stable” 下的 hadoop-2.X这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

选择将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxf ~/downloads/hadoop-2.7.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo chown -R hadoop ./hadoop-2.7.3 # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop
./bin/hadoop version