hadoop 2.91 Pseudodistributed Mode(伪分布式)安装流程

Posted 叮铛之家

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop 2.91 Pseudodistributed Mode(伪分布式)安装流程相关的知识,希望对你有一定的参考价值。

这是hadoop官网伪分布式安装流程

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

本机部署环境,虚拟机VMware

Hadoop版本:Hadoop 2.9.1

LINUX版本:CentOS-7-x86_64-DVD-1804.iso

以下操作都是在root用户下操作:

一、安装jdk,我是安装的系统自带的,官网有说支持哪些版本jdk。

[[email protected] hadoop]# yum list|grep jdk-devel

[[email protected] hadoop]# yum install java-1.8.0-openjdk-devel.x86_64

配置JAVA_HOME变量,添加到PATH

vi /etc/profile 添加

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export PATH=$PATH:$JAVA_HOME/bin

 

二、下载hadoop版本

http://www.apache.org/dyn/closer.cgi/hadoop/common/

传到root用户 ~ 目录下,解压 tar zxvf hadoop-2.9.1.tar.gz

edit the file   /root/hadoop-2.9.1/etc/hadoop/hadoop-env.sh 

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64

 

最好定义一个环境变量指向 Hadoop 的安装目录(HADOOP_HOME),并将其放在 PATH 下。比如,在 /etc/profile 下输入:

export HADOOP_HOME=/root/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin

输入命令hadoop version 看配置可有问题,正常话会显示下面内容

[[email protected] hadoop]# hadoop version
Hadoop 2.9.1
Subversion https://github.com/apache/hadoop.git -r e30710aea4e6e55e69372929106cf119af06fd0e
Compiled by root on 2018-04-16T09:33Z
Compiled with protoc 2.5.0
From source with checksum 7d6d2b655115c6cc336d662cc2b919bd
This command was run using /root/hadoop-2.9.1/share/hadoop/common/hadoop-common-2.9.1.jar

 

三、每一个 Hadoop 组件的配置都使用一个 XML 文件。四个组件Common,HDFS,MapReduce 和 YARN 的配置文件分别对应 core-site.xml,hdfs-site.xml,mapred-site.xml 和 yarn-site.xml. 这些文件均在 Hadoop 安装目录下的 etc/hadoop 的子目录中。以下我根据官网配的。

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

Configure parameters as follows:etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

 

四、配置 ssh

如果本机没有安装 ssh,首先安装下

yum install ssh

配置 ssh 免登陆:

  $ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

# 输入以下命令,不要密码即成功
ssh localhost

 

五、格式化 HDFS 文件系统

跟一般的文件系统一样,使用 HDFS 之前,需要格式化以下

hdfs namenode -format


六、启动和终止程序

   启动 HDFS,YARN 和 MapReduce 后台进程:

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

执行以上命令后,以下后台进程会在本机上出现:1 namenode,1 secondary namenode,1 datanode (HDFS),1 resource manager,1 node manager (YARN) 以及 1 history server (MapReduce)。

namenode: http://localhost:50070 
history server: http://localhost:19888 
resource manager: http://localhost:8088


验证是否启动成功
[[email protected] hadoop]# jps
4566 NodeManager
3879 NameNode
3993 DataNode
4457 ResourceManager
7163 Jps
4204 SecondaryNameNode

终止程序

mr-jobhistory-daemon.sh stop historyserver
stop-yarn.sh
stop-dfs.sh
 

 

















以上是关于hadoop 2.91 Pseudodistributed Mode(伪分布式)安装流程的主要内容,如果未能解决你的问题,请参考以下文章

discuz 修改亮剑积分商城2.91模板(在常用设置中添加商场首页排序方式的背景颜色)

uCOS-II模拟(VS2010&WIN32)

blender 命令行渲染

blender 命令行渲染

ggplot2中的水平条形图

LINUX编译mate-desktop/terminal-1.24.0终端