Hadoop4-HDFS分布式文件系统原理

Posted 2020-11-23 乐章

一、简介

　　1、分布式文件系统集群结构

　　　　分布式文件系统由计算机集群中的多个节点构成，这些节点分为两类：

　　　　主节点（MasterNode）或者名称节点（NameNode）

　　　　从节点（Slave Node）或者数据节点（DataNode）

　　2、HDFS能够带来什么好处

　　　　兼容廉价的硬件设备

　　　　流数据读写

　　　　大数据集

　　　　简单的文件模型

　　　　强大的跨平台兼容性

　　3、局限性

　　　　不适合低延迟数据访问

　　　　无法高效存储大量小文件

　　　　不支持多用户写入节任意修改文件

二、概念

　　1、块

　　　　HDFS默认一个块64MB，一个文件被分成多个块，以块为存储单位，2.x新版本中是128MB

　　　　块的大小远大于普通文件系统，可以最小化寻找开销

　　　　HDFS采用抽象的块概念可以带来一下几个明显的好处：

　　　　　　支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干各文件块，不同文件块被分发到不同节点，因此，一个文件的大小不会受到单个节点存储容量限制，可以远大于网络中任意节点的存储容量

　　　　　　简化系统设计：简化了存储管理，因为文件块大小固定，这样可以非常容易算出一个几点可以存储多少块，其次方便了元数据的管理，元数不需要和文件块一起存储，可以由其他系统负载管理元数据

　　　　　　适合数据备份：每个文件块都可以冗余存储到多个节点上，提高了系统容错和可用性

 　　2、名称节点

　　　　名称节点负责管理分布式文件系统的命令空间（Namespace），保存了两个核心的数据结构，即Fslmage和EditLog

　　　　　　Fslmage用于维护文件系统树以及文件树中所有的文件和文件夹的元数据

　　　　　　操作日志文件EditLog中记录了所有针对文件的创建、删除、重命名等操作

　　　　　　名称节点记录了每个文件中个板块所在的数据节点的位置信息

　　　　　　　　

　　3、Fslmage文件

　　　　Fslmage文件包含文件系统中所有目录和文件inode的序列化形式，每个inode是一个文件或目录的元数据内部表示，并包含此类信息：文件的复制等级、修改和访问时间、访问权限、块大小以及组成文件的块。对于目录，则存储修改时间、权限和配额元数据

　　　　Fslmage文件没有记录块存储在哪个数据节点。而是由名称节点把这些映射保留在内存中，当数据节点加入HDFS集群时，数据节点会把自己所包含的块列表告知给名称节点，此后会定期执行这种告知操作，以确保名称节点的块映射时最新的

　　4、名称节点的启动过程

　　　　1）启动名称节点---》将FsImage文件---》加载到内存---》执行EditLog---》同步---》内存中的元数据客户可读

　　　　2）内存与元数据映射完成---》创建新的Fslmage文件+空的Editlog文件

　　　　说明：名称节点起来后，HDFS中的更新操作会重新写到Editlog文件中，因为Fslmage文件一般都很大（GB级别的很常见），如果所有的更新操作都往Fslmage文件中添加，这样会导致系统运行的十分缓慢，但是，如果往EditLog文件里面写就不会这样，因为EditLog要小很多，每次执行写操作之后，且在向客户端发送成功代码之前，edits文件都需要同步更新

　　5、名称节点运行期间EditLog不断变大的问题

　　　　运行期间HDFS的所有操作---》写到EditLog---》时间（久而久之）---》EditLog文件将变得非常大

　　　　对运行中HDFS影响不大，但是一旦重启Fslmage里面的所有内容映像到内存中，然后在一条一条执行EditLog，当EditLog文件非常大的时，就会导致名称节点启动非常缓慢，并且此期间是安全模式，无法提供写操作，影响用户使用

　　 　解决此问题就需要SecondaryNameNode第二名称节点

　　6、第二名称节点SecondaryNameNode

　　　　1）它用来保存名称节点中对HDFS元数据信息的备份，并减去名称节点重启的时间，一般是单独运行在一台机器上

　　　　2）SecondaryNameNode工作情况

　　　　　　1、SecondaryNameNode定期于NameNode通信，请求停止使用EditLog文件，暂时将新的写操作写到要给新的文件edit.new,此操作瞬间完成，上层写日志函数感觉不到差别

　　　　　　2、SecondaryNameNode通过HTTP GEt从NameNode上获取FsImage/EditLog文件下载到本地的相应目录下

　　　　　　3、SecondaryNameNode将下载的Fslmage载入内存然后一条条执行EditLog中的操作，使得内存中的Fslmage保持最新，这个就是EditLog和FsImage文件合并

　　　　　　4、SecondaryNameNode执行完合并会通过post方式将新的FsImage文件发送到NameNode节点

　　　　　　5、NameNode将从SecondaryNameNode接收到的新的FsImage替换就的FsImage文件，同时将edit.new替换EditLog文件，这时EditLog就变小了

 

　　7、数据节点DataNode

　　　　数据分布在各节点，数据节点负责数据的存储和读取，会根据客户端或名称节点的调度进行数据的存储和检索，并且向名称节点定期发送所存储的块的列表

 

三、体系结构

 　　HDFS采用了主从（M/S）结构模型，名称节点作为中心服务器，管理文件系统的命名空间即客户端文件的访问。数据节点负责进行客户端的读/写请求，在名称节点的调度吓进行数据的创建、删除、复制操作

　　1、命名空间

　　　　HDFS的命名空间包含目录、文件、块

　　　　HDFS使用传统的分级文件体系，因此，可以像使用普通文件系统一样，创建/删除目录和文件，及在目录间转移重命名等

　　2、通信协议

　　　　HDFS通信协议都是构建在TCP/IP协议基础之上

　　　　客户端通过一个可配置端口向名称节点发起tcp链接，并使用客户端协议与名称节点进行交互

　　　　名称节点和数据节点间使用数据节点协议进行交互

　　　　客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的。在设计上，名称节点不会主动发起RPC，而是响应来自客户端和数据节点的RPC请求

　　3、客户端

　　　　客户端就是用户操作HDFS的方式，HDFS在部署时都提供了客户端

　　　　HDFS客户端时一个库，包括HDFS文件系接口，这些接口隐藏了HDFS实现中的大部分复杂性

　　　　严格来说客户端并不是HDFS的一部分

　　　　客户端支持打开、读写、写入等常见的操作，并且提供了类似shell的命令行方式来访问HDFS中的数据

　　　　HDFS也提供了Java API，作为应用程序访问文件系统的客户端编程接口

　　4、局限性

　　　　HDFS只设置了一个名称节点，这样做的好处时简化系统设计，但是也带了局限性：

　　　　1）命名空间的限制：名称节点时保持在内存中，因此名称节点能够容纳对象（文件、块）的个数会收到内存大小限制

　　　　2）性能瓶颈：整个分布式文件系统的吞吐量，受限单个名称节点的吞吐量

　　　　3）隔离问题：由于集群中只有一个名称节点，只有一个命名空间，因此，无法对不同应用程序进行隔离

　　　　4）集群的可用性：一旦唯一的名称节点发送故障，整个集群不可用

四、存储原理

　　1、冗余数据保存

　　　　HDFS采用了多副本方式对数据进行冗余，多副本方式优点：

　　　　1）加快数据传输速度

　　　　2）容易检查数据错误

　　　　3）保证数据可靠性

　　2、数据存取策略

　　　　1）数据存放

　　　　第一个副本：放在上传文件的数据节点，如果集群外提交，随机选一台磁盘不太满、cpu不太忙的节点

　　　　第二个副本：放置在与第一个副本不同的机架的节点上

　　　　第三个副本：与第一个副本相同机架的其他节点上

　　　　更多副本：随机

　　3、数据读写

　　hdfs提供了一个API可以确定一个数据节点所属的机架ID，客户端也可以调用API获取自己所属机架ID

　　当客户端读取数据时，名称节点获得数据块不同的位置列表，列表中包含了副本所在数据节点，发现某个数据数据库副本对应的机架ID和客户端对应机架ID相同，就优先选择该副本读取数据，如没有就随机读取

　　4、容错-数据错误与恢复

　　　　HDFS具有较高的容错性，可以兼容廉价硬件，它把依你高见出错看作一种常态，还有机制检测数据错误和自动恢复，容错性主要由名称节点出错、数据节点出错、数据出错。

　　　　1）名称节点出错

　　　　　　回顾：Fslmage，Editlog

　　　　　　如果整个两个文件损坏，那么HDFS实例将失效

　　　　　　hdfs提供SecondaryNameNode，将会备份这两个文件，在必要的时候Fslmage，Editlog数据进行恢复

　　　　2）数据节点出错

　　　　　　心跳信息定期向名称节点报告自己状态，如果出问题，就会被标记为宕机，节点上的数据被标记不可读，名称节点将不会给他们发送任何I/O请求

　　　　　　如出现问题，一些数据节点不可用可能会导致一些数据库副本数量小于冗余因子，名称节点会定期进行检测，一旦发生这种情况会启动数据冗余复制，为它生成新的副本

　　　　　　HDFS和其他分布式文件系统最大的区别就是可以调整冗余数据位置

　　　　3）数据出错

　　　　由网络磁盘等错误的因素都会导致数据错误，客户端读取到数据后都会进行md5/sha1对数据进行校验，以确定读取到正确的数据

　　　　在创建文件时，客户端会对每个文件进行信息摘录，并把这些信息写入到一个路径的隐藏文件

　　　　客户端读取文件时，先读取信息摘录，然后利用该信息进行校验，如果出错，客户端就会请求到另外的节点读取，并向名称节点报告，名称节点会定期检测并且重新复制

 

五、数据读取过程

　　1、读取文件

　　　　简单流程就是：打开文件--》获取数据块信息--》读取请求--》读取数据--》获取数据块信息--》读取数据--》关闭文件

　　2、写数据过程

 

　　　　简单流程：创建文件--》创建文件元数据--》写入数据--》--》写入数据包--》接收确认包--》关闭文件--》写操作完成

 

完全参考学习：http://dblab.xmu.edu.cn/blog/290-2/ 

 

转载请注明出处：https://www.cnblogs.com/zhangxingeng/p/11819418.html