大数据技术原理与应用——分布式文件系统HDFS

Posted 2021-01-06 没有神保佑的瓶子

分布式文件系统HDFS

• 分布式文件系统

　　分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。

　　分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode）

　　另一类叫从节点(Slave Node）或被称为数据节点（DataNode）

　　

• HDFS简介

  　　HDFS要实现以下目标：

  1. 兼容廉价的硬件设备
  2. 流数据读写
  3. 支持大数据集
  4. 简单的文件模式
  5. 强大的跨平台兼容性

  　　HDFS的局限性

  1. 不适合低延迟数据访问（无法实现实时处理需求）
  2. 无法高效存储大量小文件
  3. 不支持多用户写入及任意修改文件（只允许追加）
• HDFS相关概念

　　　　块：HDFS默认一个块64MB，一个文件被分成多个块，以块作为存储单位，块的大小远远大于普通文件系统，可以最小化寻址开销。

　　　　采用抽象的块概念的明显好处：

　　　　支持大规模文件存储：大规模文件可以被分拆成若干各文件块，不同的块可以被分发到不同的节点上，因此一个文件的大小不会受到单个节点的存储容量的限制

　　　　简化系统设计：文件块大小时固定的，可以很容易计算出一个节点可以存储多少文件块；其次方便了元数据的管理

　　　　适合数据备份：每个文件块都可以冗余存储到多个节点上，大大提高了系统的容错性和可用性

 

名称节点	数据节点
存储元数据	存储文件内容
元数据保存在内存中	文件内容保存在磁盘
保存文件，block， datanode之间的映射关系	维护了block id和datanode本地文件的映射关系

 

• HDFS存储原理　　

　　名称节点：负责管理分布式文件系统的命名空间，保存了两个核心的数据结构，即FsImage和EditLog。名称节点记录了每个文件中各个块所在地 数据节点的位置信息

　　　　FsImage用于维护文件系统树以及文件树中所有的文件和文件夹的元数据。

　　FsImage文件包含文件系统中所有目录和文件inode的序列化形式。每个inode时一个文件或目录的元数据的内部表示，并包含此类信息：文件的复制等级、修改和访问时间、访问权限、块大小以及组成文件的块。对于目录，则存储修改时间、权限和配额元数据。

　　FsImage文件没有记录块存储在哪个数据节点，而是由名称节点把这些映射保留在内存中，当数据节点加入HDFS集群时，数据节点会把自己所包含的块列表告知给名称节点，此后会定期执行这种告知操作，以确保名称节点的块映射时最新的。

　　　　操作日志文件EditLog中记录了所有针对文件的创建、删除、重命名等操作。

• HDFS数据读写过程

 

　　在名称节点启动的时候，会将FsImage文件中的内容加载到内存中，之后再执行EditLog文件中的各项操作，使得内存中的元数据和实际的同步，存在内存中的元数据支持客户端的读操作。一旦再内存中成功建立文件系统元数据的映射，则创建一个新的FsImage文件和一个空的EditLog文件。名称节点启动以后，HDFS中的更新操作会重新写到EditLog文件中（因为FsImage文件一般很大，如果所有的更新操作都往FsImage文件中添加，这样会导致系统运行的十分缓慢，而EditLog文件则小得多）。每次执行写操作后，且在向客户端发送成功代码之前，edits文件都需要同步更新。

　　数据节点：是HDFS的工作节点，负责数据的存储和读取，根据客户端或名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所在存储的块的列表。数据节点中的数据会被保存再各自节点的本地Linux文件系统中。