测试搭建成功的单机hadoop环境

Posted winvv

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了测试搭建成功的单机hadoop环境相关的知识,希望对你有一定的参考价值。

1.关闭防火墙service iptables stop,(已经这是开机关闭的忽略)

2.进入hadoop目录,修改hadoop配置文件(4个)

core-site.xml

<configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost.localdomain:8020</value>
  </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/data/tmp</value>
  </property>
</configuration>

 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.41.134</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>640800</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
	<name>mapreduce.jobhistory.address</name>
	<value>192.168.41.134:10020</value>
    </property>
    <property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>192.168.41.134:19888</value>			
    </property>
</configuration>

3.开启服务

  1.开始namenode节点

sbin/hadoop-daemon.sh start namenode

  2.开始datanode节点

sbin/hadoop-daemon.sh start datanode

  3.开启resourcemanager

sbin/yarn-daemon.sh resourcemanager

  4.开启nodemanager

sbin/yarn-daemon.sh stop nodemanager

  5.开启日志服务

sbin/mr-jobhistory-daemon.sh start historyserver

  6.运行测试程序(最后一个单词output不可以存在,如果可以换个名字)

bin/yarn jar 
    share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar
      wordcount
        /user/hub/mapreduce/wordcount/input
          /user/hub/mapreduce/wordcount/output

3.查看HDFS的使用情况

http://192.168.41.134:50070

  3.1 虚拟机下面查看HDFS的文件(命令与linux类似,前面要加上-)

bin/hdfs dfs -ls /user/hub/...

  3.2 删除文件的时候 -rm -R可以直接删除文件夹

4.查看应用程序的运行情况

http://192.168.41.134:8088

5.查看hadoop官方文档

http://hadoop.apache.org

6.查看hadoop的历史版本(全)

http://archive.apache.org/dist/

  





以上是关于测试搭建成功的单机hadoop环境的主要内容,如果未能解决你的问题,请参考以下文章

大数据测试之hadoop单机环境搭建(超级详细版)

湿货|大数据测试之hadoop单机环境搭建(超级详细版)

Hadoop单机Hadoop测试环境搭建

Hadoop单机Hadoop测试环境搭建

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

大数据学习系列之六 ----- Hadoop+Spark环境搭建