Hadoop，Hbase启动及用web查看hadoop运行状态

Posted 2023-01-02 sole_cc

一 启动顺序（对前面安装文档做个总结）

1 启动hadoop：bin/start-dfs.sh(注意：第一次启动hadoop之前必须namenode -format)，启动完成后，使用jps命令查看：

Master上有两个进程：namenode和secondarynamenode

slave上有一个进程：datanode

2 启动yarn：bin/start-yarn.sh，启动完成后，使用jps命令查看：

Master上又启动了一个新进程：resourcemanager

slave上又启动了一个新进程：nodemanageer

3 启动zookeeper：bin/zkServer.sh start（Master和slave上都要启动，第一步和第二步只在Master上启动即可），启动完成后，使用jps命令查看：

Master和slave上又多了一个新进程：quorunpeermain

4 启动Hbase：bin/start-hbase.sh，启动完成后，使用jps命令查看：

Master上多了一个进程：HMaster

slave上多了一个进程：HRegionserver

至此，启动完成，可以进入Hbase shell，建表，添加数据等操作，关于Hbase shell命令，可以参考下一篇博客

二使用web查看hadoop的运行状态

1 查看HDFS集群状态，访问如下地址：http://master:50070

2 查看web控制台状态：http://master：8088(yarn.resourcemanager.webapp.address)

3 查看HBase的状态：http://localhost:60010

对于hadoop2.2.0，只发现了上述两个web地址，可能还有其他的，hadoop1.x和hadoop0.20.x的web地址对应的端口可能不太一样，也可能和配置文件有关，可以参考下面这篇博客（http://blog.csdn.net/weixuehao/article/details/16847349）（针对hadoop1.x）

上一篇文章（去博客园，去CSDN），我们安装完hadoop，下面我们从视觉上看看hadoop怎么玩的。 

我们可以在win7系统上，通过web界面，在浏览器地址栏输入地址，直接查看hadoop的运行情况；

 

10.10.11.191:50030

这个里面，我们可以看到Map/Reduce的管理情况

 

 

10.10.11.191:50070

这里可以看到HDFS的管理情况。

 

但是在这里，会有一个问题。

问题：点击上图中，红框锁定的链接，Browser the filesystem，打不开界面。这是什么情况呢？

 

点击Live Nodes，进入如下界面：

点击host2，同样打不开界面……

host2对应的ip为10.10.11.192

而链接地址为host2:50070/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F

直接访问的host2主机地址。

 

很明显，出现这种状况的原因是win7电脑，并不知道host2是谁，所以需要在win7电脑的hosts文件中，添加上host2，host3，host4，master主机和ip地址的映射

win7系统，hosts文件位置：C:\\Windows\\System32\\drivers\\etc

在win7电脑上，添加完hosts配置，我们就可以解决上面的问题了。host2也就可以访问了。如下

 

去我的博客园博客浏览： http://www.cnblogs.com/laov/p/3433994.html

关于查看hadoop集群上的web界面以及和hadoop有关的中文文档，可以参考:

http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-manage-view-web-interfaces.html

http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-2.2.0-features.html