hadoop在ubuntu上的安装流程

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop在ubuntu上的安装流程相关的知识,希望对你有一定的参考价值。

第一部分 安装ssh服务

  1. 更新源列表

打开"终端窗口",输入"sudo apt-get update"-->回车-->"输入当前登录用户的管理员密码"-->回车,就可以了。

技术分享图片

  1. 安装openssh-server

在终端中输入: sudo apt-get install openssh-server
技术分享图片

  1. 查看查看ssh服务是否启动

打开"终端窗口",输入"sudo ps -e |grep ssh"-->回车-->有sshd,说明ssh服务已经启动,如果没有启动,输入"sudo service ssh start"-->回车-->ssh服务就会启动。

技术分享图片

没有找到ssh服务。

技术分享图片

然后再输入上述命令,查询ssh服务。

技术分享图片

技术分享图片

第二部分,安装Hadoop

在linux打开火狐浏览器,输入地址http://hadoop.apache.org,打开hadoop的页面,在Getting Started的下面有个Downdoad链接,点击

技术分享图片

选择2.9.0, 2.9.1或者2.8.3, 2.7.6几个2.X版本中的一个 binary链接,进入

技术分享图片

技术分享图片

点击第一个镜像链接,进入下载页面

3、进入下载安装包的目录

cd /home/wangbin/Downloads

4、执行解压命令

技术分享图片

查看Downloads目录下的文件和目录,会看到多了一个目录hadoop-2.9.0,这是安装包解压后的目录

技术分享图片

5、将hadoop-2.9.0目录转移到usr/local/hadoop

技术分享图片

6、查看usr/local/hadoop目录下的结构

技术分享图片

bin:Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用hadoop

etc:Hadoop配置文件所在目录,包括core-site.xml, hdfs-site.xml, mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop 2.0新增的配置文件

include:对外提供的编程酷头文件(具体动态库和静态库在lib目录中),这些头文件均是用c++定义的,通常用于c++程序访问hdfs或者编写mapreduce程序

lib:该目录包含了Hadoop对外提供的的编程动态库和静态库,与include目录中的头文件结合使用。

libexec:各个服务对应的shell配置文件所在目录,可用于配置日志输出目录,启动参数(比如JVM参数)等基本信息。

sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本

share:Hadoop各个模块编译后的jar包所在目录

7、设置Hadoop环境变量

  1. 编辑~/.bashrc

技术分享图片

增加如下代码

让环境变量立刻生效

技术分享图片

8、修改Hadoop配置设置文件

下面要配置Hadoop,包括Hadoop-env.sh, core-site.xml, yarn-site.xml, mapred-site.xml, hdfs-site.xml

8.1 编辑Hadoop-env.sh

技术分享图片

将原文本文件中的JAVA_HOME的设置改成JDK真实的地址

技术分享图片

8.2 设置core-site.xml

技术分享图片

技术分享图片

8.3 修改yarn-site.xml

技术分享图片

技术分享图片

8.4 修改mapred-site.xml
技术分享图片

技术分享图片

技术分享图片

8.5 设置Hdfs-site.xml

用于设置HDFS分布式文件系统,

技术分享图片

技术分享图片

9、重启虚拟机

10、创建并格式化HDFS目录

10.1 创建NameNode数据存储目录

技术分享图片

10.2 创建DataNode数据存储目录

技术分享图片
10.3 将Hadoop目录的所有者更改

技术分享图片

技术分享图片

技术分享图片

11、编辑网络配置文件设置固定IP

11.1 编辑interfaces网络配置文件

技术分享图片

设置网卡eth0的地址

技术分享图片

11.2设置hostname

技术分享图片

设置主机名

技术分享图片

11.3 设置hosts

设置节点的主机名和相对应的IP地址

技术分享图片

技术分享图片

11.4 增加masters文件

技术分享图片

技术分享图片

11.5 增加slaves文件

技术分享图片

技术分享图片


更多资深讲师相关课程资料、学习笔记请入群后向管理员免费获取,更有专业知识答疑解惑。入群即送价值499元在线课程一份。

QQ群号:560819979

敲门砖(验证信息):霸王别姬

以上是关于hadoop在ubuntu上的安装流程的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop的伪分布式安装和部署流程

hadoop 2.91 Pseudodistributed Mode(伪分布式)安装流程

mac或linux下安装hadoop-2.8流程

CentOS7安装Hadoop2.7完整流程

Hadoop的伪分布式安装和部署的流程

CentOS 7 上hadoop伪分布式搭建全流程完整教程