hadoop伪分布式安装

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop伪分布式安装相关的知识,希望对你有一定的参考价值。

一、伪分布式的安装
① 上传hadoop安装包 -->上传至/soft //上传到linux中
② 解压hadoop

        tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local

③ 配置hadoop
配置HADOOP_HOME

 vim /etc/profle

 #set java jdk setup
export JAVA_HOME=/usr/local/jdk1.7.0_65
export HADOOP_HOME=/usr/local/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改hadoop配置 cd /usr/local/hadoop-2.4.1/etc/hadoop

a. 修改hadoop-env.sh,配置JAVA_HOME

vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0_65

b. 修改core-site.xml配置文件,该文件配置NameNode的主机名和端口号。

<configuration>
                <!--指定hdfs的端口号与hdfs访问的名称-->
                <property>
                                <name>fs.defaultFS</name>
                                <value>hdfs://hadoop001:9000</value>  <!-- 默认为80020 -->
                </property>
                <!--hdfs的数据的缓存目录-->
                <property>
                                <name>hadoop.tmp.dir</name>
                                <value>/home/hadoop/tmp</value>
                </property>
</configuration>

c. 修改hdfs-site.xml,在该文件内配置分布式文件系统的副本数量,本测试是伪分布式,所以副本数为1。replication副本

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
      </property>
</configuration>

d. 修改mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

e. 修改yarn-site.xml文件

<configuration>
                <!-resourcemanager:资源管理器主机名-->
                <property>
                                <name>yarn.resourcemanager.hostname</name>
                                <value>hadoop001</value>
                </property>
                 <property>
                                <name>yarn.nodemanager.aux-services</name>
                                <value>mapreduce_shuffle</value>
                    </property>
</configuration>

NM上还可以扩展自己的服务,yarn提供了一个yarn.nodemanager.aux-services的配置项,通过该配置,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的。

④ hadoop的启动

a) 格式化NameNode,只需要在第一次启动的时候格式化

    hadoop namenode -format

b) 启动hadoop

            cd /usr/local/hadoop-2.4.1/sbin
            ./start-all.sh
            或者
            ./start-hdfs.sh     启动hdfs
            ./start-yarn.sh     启动yarn

c) 查看启动效果

    jps
    5066 NameNode               名称节点
    19031 QuorumPeerMain        zookeeper进程
    5588 NodeManager            节点管理器 NM
    5287 SecondaryNameNode      辅助名称节点
    5159 DataNode               数据节点
    5491 ResourceManager        资源管理器RM

⑤ hadoop可执行文件的意义 hadoop/bin

文件名 说明

hadoop  用于执行hadoop脚本命令,可以单独执行,一切命令的核心
hadoop-deamon.sh    通过执行hadoop命令来启动/停止一个守护进程(deamon)该命令会被sbin目录下面所有以start或stop的所的命令调用来执行命令hadoop-daemon.sh本身就是通过调用hadoop命令来执行任务
例如:hadoop-deamon.sh
start.all.sh    全部启动,它会调用start-dfs.sh及start-yarn.sh
start-hdfs.sh   启动hdfs 包括 
NameNode  DataNode  SecondaryNameNode 
start-yarn.sh   启动yarn   ResourceManager NodeManager

以上是关于hadoop伪分布式安装的主要内容,如果未能解决你的问题,请参考以下文章

0.1_hadoop安装(伪分布式)

ubuntu 下安装伪分布式 hadoop

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

Ubuntu下伪分布式安装Hadoop详细教程

Ubuntu下伪分布式安装Hadoop详细教程

hadoop伪分布式安装