HDFS细节

Posted 2023-01-02

DFS架构图

知识点

1.HDFS Hadoop Distributed File System  Hadoop的分布式文件系统，可以存储海量数据（文件，图片，影音等），实际工作中，一般存储的都是用户的访问日志（.txt）

2.HDFS之所以能够存储海量数据，原因是一个可扩展的分布式架构，硬盘存储空间不够，加服务器即可。

3.HDFS是基于Google的一篇论文《Google File System》

4.namenode，名字节点。最主要的职责是管理和存储HDFS的元数据信息（比如文件名，文件大小，文件切块的数量，每个文件块的大小，文件块编号，存储在哪个datanode上），可以通过指令：

hadoop  fsck  /park01/1.txt  -files  -blocks -locations

5.namenode不存储文件块

6.namenode除了存储元数据信息以外，还会通过RPC心跳机制来管理各个datanode

7.namenode会把元数据信息放在namenode服务器的内存里，目的是供用户快速查询。

8.namenode为了确保元数据存储的可靠性，会将元数据落地，存储的目录路径有core-site.xml里的hadoop.tmp.dir来指定的。

注意：此属性默认是放在linux的 /tmp 目录，所以在工作中一定要更换此目录。

9.namenode底层是通过两个文件来进行元数据管理：

①Edits文件 当客户端发起写请求时，Edits文件都会进行记录

写请求，比如：-mkdir  -put  -mv

②Fsimage文件 存储元数据信息的

以上这个两个文件会定期做一次合并，合并的目的是确保Fsimage文件里的数据是最新的。合并周期默认是3600s（1小时）

10.以上这个两个文件可以在配置的元数据目tmp/dfs/name/current找到

11.格式化指令：hadoop namenode -format

它的作用是在元数据目录生成新的Edits和Fsimage文件。

这个指令 在初次Hadoop时需要执行一次。

12.格式化指令很危险，因为它会清空之前所有的元数据。所以在实际工作，初次使用完之后，会通过配置文件的使得这个指令失效。

13.Edits和Fsimage文件可以通过指令手动合并：hadoop dfsadmin -rollEdits

14.为了当namenode宕机后，SNN能够工作，我们需要SNN具有元数据数据，

所以Hadoop底层机制是让SNN来做元数据的合并工作，通过这机制使得NN和SNN都有元数据信息了。

注意：以上这个机制存在一个问题，就是可能会造成元数据丢失

比如：

3：00  Edits和Fsimage 合并一次

3：30  namenode 宕机了

相当于丢失了30分钟之内的元数据信息。

这个机制是Hadoop1.0的机制，是存在问题的，即SNN合并不能达到实时热备，所以会元数据丢失，即Hadoop1.0的namenode还是会存在单点故障问题。

15.下图是Hadoop2.0 集群的架构图。

Hadoop2.0如果伪分布式模式，会看到SNN，但实际没有作用

Hadoop2.0如果是完全分布式，就没有SNN进程了

16.可以指令单独启停某个进程:

启动：

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

hadoop-daemon.sh start secondarynamenode

停止：

hadoop-daemon.sh stop namenode

此外，掌握：start-dfs.sh  启动和HDFS相关的所有进程

17.当namenode挂掉再次启动时，底层会将Edits和Fsimage合并一次。

3：10 namenode 宕机

即3:00 ~3：10会产生一些操作记录，

所以通过这种机制，可以确保namenode宕机再启动之后，Fsimage是最新的

18.当整个HDFS启动（namenode和datanode）时，底层每台datanode都会向namenode汇报自身的存储状态信息（存储了哪些文件块），namenode收到这写数据后，汇总并检查。检查文件块是否缺少，数据是否丢失，以及每个文件块的副本数量是否达到要求（集群环境，3副本），如果检查有问题，HDFS会进入安全模式，在安全模式下，要完成数据的修复、副本的复制。安全模式直到数据恢复完毕之后自动退出

19.如果HDFS处于安全模式，对外只能提供读服务，不能提供写服务。

可以通过指令：

hadoop dfsadmin -safemode enter

hadoop dfsadmin -safemode leave

20.如果是伪分布式模式，在hdfs-site.xml 配置副本数量，只能配置1，因为如果大于1，会使得HDFS一直安全模式而不退出（因为副本数量一直满足不了要求，就一台服务器，只能存一个副本）

21.datanode，数据节点，专门用来存储和管理文件块。

22.datanode会定期向namenode发送心跳，心跳周期默认是3s

23.配置datanode地址列表是在slaves配置文件里配置的

24.HDFS存储文件的方式是切块存储，

Hadoop 1.0  切块大小64MB

Hadoop 2.0  切块大小128MB

比如：上传来个文件①1.txt 257MB  ②2.txt 100MB ,并设定副本数=1

①1.txt  1块：128MB  2块：128MB  3块：1MB

②2.txt  1块：100MB

综上，共4个文件块。

强调：切块是以文件为单位的，不同文件的文件块不能共用。

块是多大，在磁盘上就占多大。比如1MB文件块就占1MB，不会浪费127MB的磁盘空间的。

25.HDFS的特点：当文件上传HDFS之后，就不允许修改此文件。所以HDFS的适用场景：once-write-many-read  （一次写入，多次读取）

26.HDFS不允许修改数据，但允许追加数据

27.HDFS是否适合存储海量的小文件（比如几kb,几mb)？

不适合，因为每个文件都会占用一条元数据信息，根据经验，一条元数据大约在150字节，即如果由海量小文件时，会占用大量的namenode服务内存空间。