Hadoop入门 Hadoop2.7.5集群分布式环境搭建

Posted qwangxiao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop入门 Hadoop2.7.5集群分布式环境搭建相关的知识,希望对你有一定的参考价值。

本文接上文内容继续:

技术分享图片

技术分享图片

技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片技术分享图片

 

server01 192.168.8.118 jdk、www.fengshen157.com/ hadoop NameNode、DFSZKFailoverController(zkfc)
server02 192.168.8.119 jdk、www.baohuayule.net  hadoop NameNode、DFSZKFailoverController(zkfc)
server03 192.168.8.120 jdk、www.thd178.com hadoop ResourceManager
server04 192.168.8.121 jdk、www.089188.cn hadoop ResourceManager
server05 192.168.8.122 jdk、www.uuweb.cn hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
server06 192.168.8.123 jdk、www.feifanyule.cn hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
server07 192.168.8.124 jdk、www.ysgj1688.com/ hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

说明:
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.7.5解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调技术分享图片技术分享图片技术分享图片

至此,Hadoop+Spark分布式集群部署完毕并测试成功!撒花??ヽ(°▽°)ノ?!













以上是关于Hadoop入门 Hadoop2.7.5集群分布式环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop2.7.5 HA集群搭建

Hadoop2.7.5伪分布式datanode不能启动

CentOS7.4 + Hadoop2.7.5安装配置管理(伪分布式)

Ubuntu-16.04-Desktop +Hadoop2.7.5+Eclipse-Neon的云计算开发环境的搭建(伪分布式方式)

markdown Hadoop2.7.5单节点学习

Flink部署之Yarn