hadoop单机模式配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop单机模式配置相关的知识,希望对你有一定的参考价值。

1.环境 VMware10,CentOS6.4,64位,JDK1.8 ,Hadoop2.7 需要64位Linux

2、安装JDK,Hadoop2.7需要JDK7 ,支持JDK1.8,直接解压下载的JDK并配置变量即可
(1)下载“jdk-7u79-linux-x64.gz”,放到/usr/目录下
(2)解压,输入命令,tar -zxvf jdk-7u79-linux-x64.gz
(3)编辑 vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
(4)使配置生效,输入命令,source /etc/profile或者. /etc/profile
(5)输入命令,java -version,看到显示java版本信息  jdk配置完成

3.安装Hadoop2.7
(1)下载“hadoop-2.7.0.tar.gz”,放到/usr/目录下
(2)解压,输入命令,tar -xzvf hadoop-2.7.0.tar.gz
(3)在/root/目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name 不手动创建这些目录  hadoop 也会帮助我们自动创建出来

4.配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml

<configuration>

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.241.132:9000</value>
    </property>
    
</configuration>

5.配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/data/datanode</value>
    </property>
   
<property>

     <name>dfs.tmp.dir</name>
     <value>/root/data/tmp</value>
    </property>

  <property>
      <name>dfs.replication</name>
      <value>1000</value>

   </property>


</configuration>

 

6.配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,不设置的话,启动不了,
export JAVA_HOME=/home/java/jdk1.7.0_79

 

7、配置/usr/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves,删除默认的localhost,增加1个从节点,
192.168.241.132

8.在Master服务器启动hadoop,从节点会自动启动,进入/usr/hadoop/hadoop-2.7.0目录
(1)初始化,进入bin目录 输入命令,./hdfs namenode -format
(2)全部启动在sbin  输入命令 ./start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息

27282 SecondaryNameNode

27590 NodeManager

27434 ResourceManager
27114 DataNode
26988 NameNode

8.因为我是在公司网络环境 不能是桥接方式 所以使用的nat方式连接宿主机和虚拟机 这个部分困扰了我很久 具体做法如下

 (1)首先关闭虚拟机的iptables 命令 chkconfig iptables off/on 关闭和开启  service iptables stop/service iptables start 停止和开启 我是使用后面的这个

 (2)设置虚拟机的网络 因为我们是nat方式需要做的如下  首先关闭windows的防火墙,然后点击虚拟机的     编辑--》虚拟网络编辑器--》选中VMnet-8 点击设置nat设置--》添加端口映射

     我这里设置了2个端口映射分辨是 192.168.241.132:8080 tomcat端口 和192.168.241.132:50070端口

 (3)然后我们在本地访问192.168.241.132:50070 就可以看到hadoop的页面了  

 

以上是关于hadoop单机模式配置的主要内容,如果未能解决你的问题,请参考以下文章

[Nutch]Hadoop单机伪分布模式的配置

Hadoop基础教程2Hadoop之单机模式搭建(转)

Hadoop单机模式配置

hadoop单机模式配置

Hadoop 单机与完全分布式配置

[Nutch]Hadoop单机伪分布模式的配置