centos6.4安装hadoop2.4.1

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了centos6.4安装hadoop2.4.1相关的知识,希望对你有一定的参考价值。

#关闭防火墙

 

 service iptablesstop

1:安装JDK

1.1上传jdk-7u_65-i585.tar.gz

1.2解压jdk

#创建文件夹

     mkdir /home/hadoop/app

#解压

     tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

1.3java添加到环境变量中

     sudo vim /etc/profile

#在文件最后添加

     export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585

     export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

     source /etc/profile



2:安装hadoop2.4.1


注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

     伪分布式需要修改5个配置文件

2.1配置hadoop  /home/hadoop/app/hadoop-2.4.1/etc/hadoop

第一个:hadoop-env.sh

     vim hadoop-env.sh

     #27

     export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

第二个:core-site.xml

          

 

     fs.defaultFS

     hdfs://weekend-1206-01(主机名):9000

 

          

 

     hadoop.tmp.dir

     /home/hadoop/app/hadoop-2.4.1/data

   

第三个:hdfs-site.xml  hdfs-default.xml (3)

          

 

     dfs.replication

     1

 

第四个:mapred-site.xml (mv mapred-site.xml.templatemapred-site.xml)

          mv mapred-site.xml.template mapred-site.xml

          vim mapred-site.xml

          

 

     mapreduce.framework.name

     yarn

 

第五个:yarn-site.xml

          

 

     yarn.resourcemanager.hostname

     weekend-1206-01(主机名)

 

          

 

     yarn.nodemanager.aux-services

     mapreduce_shuffle

 


3:启动hadoop

3.1:将hadoop添加到环境变量      vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.7.0_65

exportHADOOP_HOME=/home/hadoop/app/hadoop-2.4.1

exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#source /etc/profile

3.2: 格式化namenode(是对namenode进行初始化)

#hadoop namenode-format

3.3:启动  /home/hadoop/app/hadoop-2.4.1/sbin

先启动HDFS

#start-dfs.sh

再启动YARN

#start-yarn.sh

使用jps命令验证

#jps

技术分享

【注:做集群时在vim/home/hadoop/app/hadoop-2.4.1/etc/hadoop/slaves添加相应的主机名】

4:浏览器访问:


http://ip:50070 HDFS管理界面)

技术分享

技术分享


本文出自 “通通的技术博客” 博客,转载请与作者联系!

以上是关于centos6.4安装hadoop2.4.1的主要内容,如果未能解决你的问题,请参考以下文章

hadoop2.4.1伪分布式搭建

linux下编译hadoop2.4.1源码

hadoop2.4.1 伪分布

hadoop2.4.1伪分布式搭建

hadoop2.4.1伪分布式搭建.txt

搭建hadoop2.4.1版本中/etc/hadoop/中找不到mapred-site.xml文件