hadoop(cdh版)下载安装即配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop(cdh版)下载安装即配置相关的知识,希望对你有一定的参考价值。

  • 下载hadoop压缩包,这里下载的是5.14.2版本(地址:http://archive.cloudera.com/cdh5/cdh/5/
    技术图片
  • 技术图片
    2.通过Xftp工具将压缩包拉到虚拟机/opt目录下(目录个人随意)
    技术图片
    3.解压hadoop压缩包(命令:tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz)技术图片
    4.这里为了清晰,新建一个文件夹bigdata单独存放解压后的文件,并重命名
    新建:mkdir bigdata
    移动: mv hadoop-2.6.0-cdh5.14.2 ./bigdata/hadoop260技术图片
    5.重头:修改配置文件,移动至/etc/hadoop目录下,ls命令,下图中圈选的文件是本次我们需要进行配置的技术图片
    6.配置1:vi hadoop-env.sh修改如下位置,修改成自己JAVA_HOME的路径,可以echo $JAVA_HOME查看,修改完保存退出
    技术图片
    7.配置2:vi core-site.xml修改如下位置技术图片
    技术图片

    <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://192.168.56.109:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/opt/hadoopdata</value>
            </property>
            <property>
                    <name>hadoop.proxyuser.root.users</name>
                    <value>*</value>
            </property>
            <property>
                    <name>hadoop.proxyuser.root.groups</name>
                    <value>*</value>
            </property>

    8.配置3:vi hdfs-site.xml,和上一步一样的标签中加入如下代码技术图片

           <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>

    9.配置4,这个文件需要自己copy,和上一步一样的标签中加入如下代码
    命令:cp mapred-site.xml.template mapred-site.xml
    配置:vi mapred-site.xml技术图片

            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>

    10.配置5:vi yarn-site.xml,中间有行注释可以删掉直接技术图片

    <property>
                    <name>yarn.resourcemanager.localhost</name>
                    <value>localhost</value>
            </property>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
    

    11.配置六:vi /etc/profile,移动至最后,加入以下代码技术图片

    export HADOOP_HOME=/opt/bigdata/hadoop260
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    export HADOOP_INSTALL=$HADOOP_HOME

    12.激活配置文件:source /etc/profile
    13.格式化namenode:hdfs namenode -format
    14.运行:start-all.sh,然后每一步都输入yes
    15.查看运行情况:jps,如果能查看到如下5个进程,则代表配置运行成功,如果少哪一个,就去检查对应的配置文件技术图片

    以上是关于hadoop(cdh版)下载安装即配置的主要内容,如果未能解决你的问题,请参考以下文章

    hadoop基本安装

    Hadoop的安装与环境配置

    hadoop安装

    cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南

    CDH-5.12.2安装教程

    CDH 集群 使用 JindoFS SDK 访问 OSS