hadoop 2.91 Pseudodistributed Mode（伪分布式）安装流程

Posted 2020-11-08 叮铛之家

这是hadoop官网伪分布式安装流程

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

本机部署环境，虚拟机VMware

Hadoop版本：Hadoop 2.9.1

LINUX版本：CentOS-7-x86_64-DVD-1804.iso

以下操作都是在root用户下操作：

一、安装jdk，我是安装的系统自带的，官网有说支持哪些版本jdk。

[[email protected] hadoop]# yum list|grep jdk-devel

[[email protected] hadoop]# yum install java-1.8.0-openjdk-devel.x86_64

配置JAVA_HOME变量，添加到PATH

vi /etc/profile 添加

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export PATH=$PATH:$JAVA_HOME/bin

 

二、下载hadoop版本

http://www.apache.org/dyn/closer.cgi/hadoop/common/

传到root用户 ~ 目录下，解压 tar zxvf hadoop-2.9.1.tar.gz

edit the file   /root/hadoop-2.9.1/etc/hadoop/hadoop-env.sh 

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64

 

最好定义一个环境变量指向 Hadoop 的安装目录(HADOOP_HOME)，并将其放在 PATH 下。比如，在 /etc/profile 下输入：

export HADOOP_HOME=/root/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin

输入命令hadoop version 看配置可有问题，正常话会显示下面内容

[[email protected] hadoop]# hadoop version
Hadoop 2.9.1
Subversion https://github.com/apache/hadoop.git -r e30710aea4e6e55e69372929106cf119af06fd0e
Compiled by root on 2018-04-16T09:33Z
Compiled with protoc 2.5.0
From source with checksum 7d6d2b655115c6cc336d662cc2b919bd
This command was run using /root/hadoop-2.9.1/share/hadoop/common/hadoop-common-2.9.1.jar

 

三、每一个 Hadoop 组件的配置都使用一个 XML 文件。四个组件Common，HDFS，MapReduce 和 YARN 的配置文件分别对应 core-site.xml，hdfs-site.xml，mapred-site.xml 和 yarn-site.xml. 这些文件均在 Hadoop 安装目录下的 etc/hadoop 的子目录中。以下我根据官网配的。

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

Configure parameters as follows:etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

 

四、配置 ssh

如果本机没有安装 ssh，首先安装下

yum install ssh

配置 ssh 免登陆：

  $ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

# 输入以下命令，不要密码即成功
ssh localhost

 

五、格式化 HDFS 文件系统

跟一般的文件系统一样，使用 HDFS 之前，需要格式化以下

hdfs namenode -format

六、启动和终止程序

   启动 HDFS，YARN 和 MapReduce 后台进程：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

执行以上命令后，以下后台进程会在本机上出现：1 namenode，1 secondary namenode，1 datanode （HDFS），1 resource manager，1 node manager （YARN） 以及 1 history server (MapReduce)。

namenode: http://localhost:50070 
history server: http://localhost:19888 
resource manager: http://localhost:8088

验证是否启动成功

[[email protected] hadoop]# jps
4566 NodeManager
3879 NameNode
3993 DataNode
4457 ResourceManager
7163 Jps
4204 SecondaryNameNode

终止程序

mr-jobhistory-daemon.sh stop historyserver
 stop-yarn.sh
 stop-dfs.sh