Hadoop架构的初略总结

Posted dc0307

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop架构的初略总结相关的知识,希望对你有一定的参考价值。

Hadoop架构的初略总结(2)

回顾一下前文,我们总结了以下几个方面。我们为什么需要Hadoop;Hadoop2.0生态系统的构成;Hadoop1.0中HDFS和MapReduce的结构模型。

我们大致了解了1.0,现在我们来说说2.0。

 

首先,我们需要理清以下几个问题:

1.Hadoop1.0自身有哪些缺陷呢?

解:从两个大的方面来说,HDFS和MapReduce。

HDFS:

1)    NameNode中的单点故障问题。

针对Hadoop1.0中HDFS单点故障进行以下解释:

HDFS仿照google GFS实现的分布式存储系统,由NameNode和DataNode两种服务组成,其中NameNode是存储了元数据信息(fsimage)和操作日志(edits),由于它是唯一的,其可用性直接决定了整个存储系统的可用性。因为客户端对HDFS的读、写操作之前都要访问name node服务器,客户端只有从name node获取元数据之后才能继续进行读、写。一旦NameNode出现故障,将影响整个存储系统的使用。

这里需要提到一点,在Hadoop架构的初略总结(2)中提到的SecondaryNameNode,其作用合并NameNode节点中的fsimage和edits。首先,SecondaryNameNode从NameNode中通过网络拷贝一份fsimage(元数据信息)与edits(操作日志)到自己进程的那一块,然后将fsimage与edits进行合并,生成新的fsimage,并将新生成的fsimage推送到NameNode节点中一份,并将NameNode中edits的内容进行清空。 

2)    不能进行大量的小文件存取(占用namenode大量内存,浪费磁盘空间)扩展性差。也就是说,Hadoop1.0单NameNode制约HDFS扩展性,因为NameNode含有我们用户存储文件的全部的元数据信息,当我们的NameNode无法在内存中加载全部元数据信息的时候,集群的寿命就到头了,NameNode内存大小限制了从节点的个数,大体为4000个节点个数。

3)    其它缺陷:HDFS中的权限设计不够彻底,即HDFS的数据隔离性不是很好;数据丢失问题,访问效率问题。

改进:略。(了解了一下,看不懂,暂且略过吧,现阶段这不是重点)

MapReduce:

1)    扩展性:集群最大节点数4000(也就是4000节点主机上线);最大并发任务数40000。

2)    可用性,可靠性:JobTracker同时管理作业的调度和计算,在Hadoop1.0中,假设有100个作业,根据Hadoop访问和更新的特性,批处理,一次写入多次读写,JobTracker会同时管理这100个作业,负担太重。其次,存在单点故障,一旦故障,所有执行的任务全部失败。

3)    批处理模式,时效低:仅仅使用MapReduce一种计算方式。

4)    其他缺陷:低效的资源管理。在Hadoop1.0中不支持多框架。

 

2.说完Hadoop1.0的缺陷,我们来说说Hadoop2.0,Hadoop2.0生态系统的构成在前篇博客中有所提到。这里,我们从以下几个方面进行了解。

解:

在Hadoop2.0中,针对HDFS1.0中NameNode的内存容量不足以及NameNode的单点故障问题,在2.0中分别作了以下的改进: 

  • 在1.0中,既然一个NameNode会导致内存容量不足,我们引入两个NameNode,组成HDFS联邦,这样NameNode存储的元数据信息就可以翻倍了,所谓HDFS联邦就是有多个HDFS集群同时工作,数据节点DataNode存储的数据是服务于两个HDFS文件系统的,体系结构如下图所示:

技术分享图片

  • 在2.0中,针对1.0中NameNode的单点故障问题,在2.0中引入了新的HA机制:即如果Active(活跃的)的NameNode节点挂掉,处于Standby(备份的)的NameNode节点将替换掉它继续工作,下面的图示方便大家的理解: 

 技术分享图片

在这里大家一定要注意:2.0中处于HDFS联邦的也是两个NameNode节点,处于HA的也是两个NameNode节点,但是联邦中的两个NameNode节点由于使用的是不同的命名空间(Name Space),因此两个NameNode节点存储的元数据信息并不相同,但是处于HA中的两个NameNode节点由于使用的相同的命名空间,因此两个NameNode节点存储的元数据信息是相同的。 

 

了解了Hadoop2.0中针对Hadoop1.0中HDFS缺陷而改进的联邦和HA,下面了解下MRv1和MRv2

MRv1和MRv2在前文博客 Hadoop第三课中有所讲解,这里就不重复了。

 

接下来,了解下在博客Hadoop第三课中提到的HDFS Federation 。

作为这方面的小白,上网搜索了下,有位前辈写的浅显易懂,从很大层次上解决了我的问题。

http://blog.csdn.net/androidlushangderen/article/details/52135506

 

同样,我们要了解ResourceManager、ApplicationMaster以及Map Task和Reduce Task,这些就不得不说Hadoop2.0中的YARN了。

 

参考文献:

http://blog.csdn.net/a2011480169/article/details/53647012

https://www.cnblogs.com/sxt-zkys/archive/2017/07/24/7229857.html

 

以上是关于Hadoop架构的初略总结的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop总结——Hadoop基础

hadoop基本组件原理小总结

Hadoop总结

Hadoop学习总结——Hadoop入门详解

大数据概念及Hadoop介绍

知识分享:详解Hadoop核心架构