hadoop伪分布式搭建

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop伪分布式搭建相关的知识,希望对你有一定的参考价值。

  • 一:系统需求与软件包
  • 二:系统环境初始化
  • 三:hadoop 伪分布式搭建
  • 四:运行wordcount测试

一:环境配置需求

  • 系统
    CentOS6.4x64
  • 需要软件
    hadoop-2.5.0.tar.gz
    jdk-7u67-linux-x64.tar.gz
    native-2.5.0.tar.gz

二:系统环境初始化

  • 关闭CentOS6.4x64 系统防火墙与selinux

    1. 关闭iptables 防火墙
      #iptables -F
      #service iptables save
      #service iptables stop
      #chkconfig iptables on
      技术分享图片
    2. 将selinux 设置成为disabled 的状态
      vim /etc/selinux/config
      技术分享图片
  • 配置系统信息

    1. 新建安装用户,更改主机名,配置静态IP设置
      1.1 新建安装用户hadoop
      #useradd hadoop
      #echo "hadoop" |passwd hadoop --stdin
      技术分享图片

      上传所有安装文件到hadoop 用户目录下面,并新建安装目录yangyang下面
      技术分享图片

      1.2 更改主机名与host文件
      #hostname namenode01.hadoop.com
      #vim /etc/sysconfig/network
      技术分享图片
      #vim /etc/hosts
      技术分享图片
      1.3 配置静态IP设置
      #vim /etc/sysconfig/network-script/ifcfg-eth1
      技术分享图片

  • 配置系统的无密钥认证
    1.1 生成系统的无密钥
    #ssh-keygen 一直敲回车键到最后
    技术分享图片
    1.2 导入公钥文件
    #cat id_rsa.pub >> authorized_keys
    #chmod 600 authorized_keys
    技术分享图片

三:hadoop 伪分布式搭建

  • 配置jdk 与增加环境变量
    1.1 jdk 的安装与配置
            #tar -zxvf jdk-7u67-linux-x64.tar.gz
            #mv jdk-7u67-linux-x64 yangyang/jdk
            #vim .bash_profile

    技术分享图片

            #source .bash_profile


export JAVA_HOME=/home/hadoop/yangyang/jdk

export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/home/hadoop/yangyang/hadoop

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${HADOOP_HOME}/bin

java -version 

技术分享图片

  • hadoop 伪分布环境配置
    1.1 安装hadoop
            #tar -zxvf hadoop-2.5.0.tar.gz 
            #mv hadoop-2.5.0 yangyang/hadoop
            #echo "export JAVA_HOME=/home/hadoop/yangyang/jdk" >> hadoop-env.sh
            #echo "export JAVA_HOME=/home/hadoop/yangyang/jdk" >> mapred-env.sh
            #echo "export JAVA_HOME=/home/hadoop/yangyang/jdk" >> yarn-env.sh
     1.2 更改配置文件
        1.2.1 配置core-site.xml 
        #cd yangyang/hadoop/etc/
        #vim core-site.xml 配置内容
    <configuration> 
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/yangyang/hadoop/data</value>
    <description>hadoop_temp</description>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://namenode01.hadoop.com:8020</value>
    <description>hdfs_derect</description>
    </property>
    </configuration> 

    1.2.2 配置hdfs-site.xml 文件
    #vim hdfs-site.xml

    <configuration>
    <property>
    <name>dfs.replication</name> 
    <value>1</value>
    <description>num</description>
    <name>dfs.namenode.http-address</name>
    <value>namenode01.hadoop.com:50070</value>
    </property>
    </configuration>

    1.2.3 配置map-site.xml
    #cp -p mapred-site.xml.template mapred-site.xml
    #vim mapred-site.xml

    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property> 
    <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>namenode01.hadoop.com:19888</value>
    </property>
    </configuration>

    1.2.4 配置yarn-site.xml
    #vim yarn-site.xml

    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>

    1.2.5 替换native 包

    #cd yangyang/hadoop/lib/native
    #rm -rf *
    #tar -zxvf native-2.5.0.tar.gz -C yangyang/hadoop/lib/native/

    1.2.6 格式文件系统

     # hdfs namenode -format

    1.2.7 启动相关服务器

     #cd yangyang/sbin
     #./hadoop-deamon.sh start namenode 
     #./hadoop-deamon.sh start datanode
     #./yarn-deamon.sh start resourcemanager
     #./yarn-deamon.sh start nodemanager
     #jps

    技术分享图片

1.2.8 上传 文件

     #hdfs dfs -mkdir /input
     #hdfs dfs -put file1 /input/
     #hdfs dfs -mkdir /output

技术分享图片
1.2.9 打开浏览器
192.168.3.1:50070
技术分享图片
192.168.3.1:8088
技术分享图片

四:运行wordcount测试

  • 运行命令
    #cd /home/hadoop/yangyang/hadoop/share/hadoop/mapreduce
    #yarn jar hadoop-mapreduce-examples-2.5.2.jar wordcount /input/ /output/wd.file1
    技术分享图片

以上是关于hadoop伪分布式搭建的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop - Hadoop伪分布式搭建

入门、快速搭建Docker分布式项目环境

Hadoop伪分布式搭建

Hadoop伪分布式搭建

Hadoop2.2.0伪分布式搭建简述

Hadoop初体验:快速搭建Hadoop伪分布式环境