Hadoop本地模式部署

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop本地模式部署相关的知识,希望对你有一定的参考价值。

系统支持:CentOS 6.3

部署资源:JDK1.7、Hadoop-2.2.0

hostname:reagina01

ipaddress:192.168.8.201

java version "1.7.0_80"

安装Hadoop

[[email protected] ~]# mkdir /reagina
[[email protected] ~]# tar -zxvf hadoop-2.2.0-64bit.tar.gz -C /reagina/

修改/reagina/hadoop-2.2.0/etc/hadoop/目录下5个配置文件:

1、hadoop-env.sh

技术分享

2、core-site.xml 

技术分享

3、hdfs-site.xml 

技术分享

4、mapred-site.xml

技术分享

5、yarn-site.xml

技术分享

将Hadoop添加到环境变量,编辑/etc/profile:

技术分享

格式化HDFS(namenode)第一次使用时要格式化:

[[email protected] hadoop]# hadoop namenode -format

启动Hadoop(先启动HDFS,再启动YARN):

[[email protected] hadoop]# start-dfs.sh

[[email protected] hadoop]# start-yarn.sh

使用jps命令验证是否启动成功:

技术分享

访问HDFS的管理界面:

技术分享

访问MapReduce管理界面:

技术分享

 


以上是关于Hadoop本地模式部署的主要内容,如果未能解决你的问题,请参考以下文章

大数据01_centos7部署hadoop-3-1-2本地模式与伪分布模式

Hadoop2.x-基础(HadoopHDFSYARNMapReduce安装与部署本地模式伪分布式完全分布式)

Hadoop 分布式部署 八:分布式协作框架Zookeeper架构功能讲解 及本地模式安装部署和命令使用

spark几种部署模式,每种模式特点及搭建

Hadoop 三大运行模式-->本地运行模式

学习笔记Hadoop—— Hadoop集群的安装与部署—— Hadoop集群部署模式配置固定IP