基于centos6.5 hadoop 伪分布式安装

Posted lvlv岁月流逝

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于centos6.5 hadoop 伪分布式安装相关的知识,希望对你有一定的参考价值。

步骤1:修改IP 地址和主机名:

vi /etc/sysconfig/network-scripts/ifcfg-eth0

如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ,可以 cd /etc/sysconfig/network-scripts/ 这个目录查看以ifcfg-***开头的文件,就是你的网卡文件。再进行编辑 vi /etc/sysconfig/network-scripts/ifcfg-***

主要修改项为:

                   BOOTPROTO="static"   ###         

                   IPADDR="192.168.100.70"   ###

                   NETMASK="255.255.255.0"  ###

                   GATEWAY="192.192.100.1"    ###

 

BOOTPROTO 修改为静态

IPADDR 要修改的具体ip

NETMASK 网关

GATEWAY 网关

主机名修改:

Vim /etc/sysconfig/network 

NETWORKING=yes

HOSTNAME=hadoop1

 

hostname 查看主机名

 

步骤2:修改主机名与ip地址对应关系

 

vim /etc/hosts

192.168.100.70 hadoop1

 

步骤3:关闭防火墙

查看防护墙状态

service iptables status                  

关闭

service iptables stop                  

查看防火墙开机启动状态

chkconfig iptables --list                  

关闭开机启动

chkconfig iptables off

 

步骤4:安装jdk 首先下载jdk7 jdk-7u79-linux-x64.gz

将jdk-7u79-linux-x64.gz 复制到/usr/local/目录下

解压:tar -zxvf jdk-7u79-linux-x64.gz 解压成功后会在/usr/local/目录下产生 java-1.7.0_79目录。

配置环境变量:

vim /etc/profile

在文件最下面添加如下内容:

export JAVA_HOME=/usr/local/java-1.7.0_79

exprot PATH=$PATH:$JAVA_HOME/bin

保存退出

使上面文件立即生效:

source /etc/profile

验证安装是否成功:

java -version

如果出现jdk1.7之类字样代表安装成功

 

步骤5:安装hadoop2.7.1

         上传hadoop安装包到 /usr/local/hadoop-2.7.1.tar.gz

         并进行解压

         tar -zxvf hadoop-2.7.1.tar.gz

只有解压之后才可以操作以下步骤。

 

         伪分布式需要修改5个配置文件

         3.1配置hadoop

         第一个:hadoop-env.sh(所在目录/usr/local/hadoop-2.7.1/etc/hadoop/)

                   vim hadoop-env.sh

                   #第27行

                   export JAVA_HOME=/usr/local/java-1.7.0_79

                   以下几个xml都在/usr/local/hadoop-2.7.1/etc/haoop/目录下

         第二个:core-site.xml

                   <!-- 制定HDFS的老大(NameNode)的地址 -->

                   <property>

                            <name>fs.defaultFS</name>

                            <value>hdfs://hadoop1:9000</value>

                   </property>

                   <!-- 指定hadoop运行时产生文件的存储目录 -->

                   <property>

                            <name>hadoop.tmp.dir</name>

                            <value>/home/hadoop-2.7.1/tmp</value>

        </property>

                  

                   备注:这里的hadoop1是计算机名

         第三个:hdfs-site.xml

                   <!-- 指定HDFS副本的数量 -->

                   <property>

                            <name>dfs.replication</name>

                            <value>1</value>

        </property>

                  

         第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

                   mv mapred-site.xml.template mapred-site.xml

                   vim mapred-site.xml

                   <!-- 指定mr运行在yarn上 -->

                   <property>

                            <name>mapreduce.framework.name</name>

                            <value>yarn</value>

        </property>

                  

         第五个:yarn-site.xml

                   <!-- 指定YARN的老大(ResourceManager)的地址 -->

                   <property>

                            <name>yarn.resourcemanager.hostname</name>

                            <value>hadoop1</value>

        </property>

                   <!-- reducer获取数据的方式 -->

        <property>

                            <name>yarn.nodemanager.aux-services</name>

                            <value>mapreduce_shuffle</value>

        </property>

        

                   //备注这里的hadoop1是计算机名

         3.2将hadoop添加到环境变量

        

         vim /etc/proflie

                   export JAVA_HOME=/usr/local/java/jdk1.7.0_79

                   export HADOOP_HOME=/usr/local/hadoop-2.7.1

                   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

修改完成后profile,使之立即生效命令:

source /etc/profile

步骤6:验证与测试

1格式化namenode(是对namenode进行初始化)

                   hdfs namenode -format (hadoop namenode -format)

                  

         2启动hadoop

                   先启动HDFS

                   sbin/start-dfs.sh

                  

                   再启动YARN

                   sbin/start-yarn.sh

                  

         3验证是否启动成功

                   使用jps命令验证

                   3504 DataNode

                   3386 NameNode

                   3813 ResourceManager

                   4087 NodeManager

                   3664 SecondaryNameNode

                   4206 Jps

                   http://192.168.100.70:50070 (HDFS管理界面)

                   http://192.168.100.70:8088 (MR管理界面)

 

测试hdfs:

 

上传文件进行测试

hadoop fs -put /usr/local/hadoop/hadoop-2.7.1.tar.gz hdfs://hadoop1:9000/hadoop

 

“/usr/local/hadoop/hadoop-2.7.1.tar.gz”是本地一个文件,“hdfs://hadoop1:9000/hadoop”代表hdfs上的一个文件位置

 

下载文件测试 :

hadoop fs -get  hdfs://hadoop1:9000/hadoop /home/hd

 

 

测试yarn

首先进入hadoop的安装目录下的/share/hadoop/mapreduce/ ,

再使用hadoop-mapreduce-examples-2.7.1.jar

 

新建一个文件words文件内容如下,并上传到hdfs中

Hello tom

Hello jer

Hello jack

Hello kety

Hello tom

 

上传到hdfs;

hadoop fs -put /usr/hadoop/words hdfs://hadoop1:9000/words

 

hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs://hadoop1:9000/words hdfs://hadoop1:9000/wordresult

 

下载hdfs://hadoop1:9000/wordresult 可以查看内容

 

Hello 5

jack   1

jer      1

kety   1

tom   2

 

代表hadoop伪分部式安装成功

以上是关于基于centos6.5 hadoop 伪分布式安装的主要内容,如果未能解决你的问题,请参考以下文章

hadoop伪分布式部署

hadoop2.6.2伪分布式环境搭建

Hadoop单机伪分布部署

HBase基础教程1HBase之单机模式与伪分布式模式安装(转)

Hadoop新生报到 hadoop2.6.0伪分布式配置详解

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现