ubuntu16.04安装hadoop3.02(伪分布式)+集群
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ubuntu16.04安装hadoop3.02(伪分布式)+集群相关的知识，希望对你有一定的参考价值。
参考技术A ubuntu16.04安装hadoop3.02单机模式进行NameNode格式化
进入/usr/local/hadoop
启动NameNode 和 DataNode
输入jps，会出现如下进程
关闭dfs
配置mapred-site.xml
sudo vim /etc/hostname
将内容修改为master/slave1/slave2
ubuntu 16.04安装hadoop3.02单机模式
解释下：第一个fs.defaultFS设置master机为namenode hadoop.tmp.dir配置Hadoop的一个临时目录，用来存放每次运行的作业jpb的信息。
dfs.namenode.name.dir是namenode存储永久性的元数据的目录列表。这个目录会创建在master机上。dfs.namenode.data.dir是datanode存放数据块的目录列表，这个目录在slave11和slave1机都会创建。 dfs.replication 设置文件副本数，这里两个datanode，所以设置副本数为2。
解释下：这里设置的是运行jobtracker的服务器主机名和端口，也就是作业将在master主机的9001端口执行
Hadoop3.0.0在Ubuntu16.04上分布式部署
ubuntu16.04搭建hadoop集群环境
hadoop分布式集群安装
以上是关于ubuntu16.04安装hadoop3.02(伪分布式)+集群的主要内容，如果未能解决你的问题，请参考以下文章
Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）
基于ubuntu16.04伪分布式安装hadoop2.9.1以及hive2.3.1
Ubuntu16.04 Hadoop2.6.0伪分布式安装与启动中遇到的问题
Ubuntu14.04或16.04下安装JDK1.8+Scala+Hadoop2.7.3+Spark2.0.2