0003 - NameNode工作机制解析

Posted 2021-08-30 小左先森

大数据梦工厂（0003 - NameNode工作机制解析）

---

1 - 基本描述

NameNode 是 HDFS 的核心服务，它管理和维护着整个 HDFS 分布式文件系统，主要有以下作用：

• 负责接收客户端的操作请求；
• 负责管理文件系统命名空间（NameSpace）、集群配置信息及存储块的复制等；
• 负责文件目录树的维护以及文件对应 Block 列表的维护；
• 负责管理 Block 与 DataNode 之间的关系。

NameNode 中包含 FsImage 和 Edits 两个文件。存储在 NameNode 节点的本地磁盘上，也就是 NameNode 的元数据信息。

• FsImage： 命名空间镜像文件。记录数据块到文件的映射、目录或文件的结构、属性等信息。
• Edits： 操作日志文件。记录对所有文件的创建、删除、重命名等操作日志。

SecondaryNameNode 的职责是合并 NameNode 的 Edits 到 FsImage 文件中，来保证 NameNode 中数据的可靠性。

2 - 工作流程

第一阶段 NameNode 启动

1. 第一次 NameNode 格式化启动之后，首次会创建 FsImage 文件和 Edits 文件；非第一次启动，直接加载 FsImage 文件和 Edits 文件到内存中；
2. 客户端对元数据执行增删改操作，并记录到 Edits 文件；
3. NameNode 记录操作日志；
4. NameNode 在内存中对数据进行增删改查。

第二阶段 SecondaryNameNode 工作

1. 询问 NameNode 是否需要 CheckPoint，NameNode 返回信息；
2. NameNode 切割现有日志文件，新记录滚动写入新 Edits 文件；
3. 滚动前的 Edits 文件和 FsImage 文件拷贝到 SecondaryNameNode；
4. SecondaryNameNode 加载 Edits 文件和 FsImage 文件到内存中合并；
5. 生成新的 FsImage 文件；
6. 将新生成的 FsImage 文件拷贝到 NameNode；
7. NameNode 将新生成的 FsImage 文件重命名替换旧的 FsImage 文件。

3 - CheckPoint 设置

CheckPoint 节点通常运行在与 NameNode 不同的机器上。

SecondaryNameNode 定期从 Active NameNode 将 Edits 文件和 FsImage 文件下载到本地，并加载到内存进行合并。这个合并过程称为一个检查点（CheckPoint）。

在 NameNode 运行期间，HDFS 的所有变更操作都是写到 Edits 文件中，一段时间后，Edits 文件会变得非常大。CheckPoint 的出现就是解决 Edits 文件不断变大的问题，并将 Edits 文件大小保持在限制范围内。

NameNode 和 SecondaryNameNode 的数据目录存储结构完全相同。当单节点集群下 NameNode 故障需要重新恢复时，可以从 SecondaryNameNode 的数据目录中将 FsImage 和 Edits ​所有文件拷贝到 NameNode 的数据目录，以恢复 NameNode 的元数据。但只能恢复大部分数据，因为有些数据可能还没做 CheckPoint。

通过修改 hadoop-hdfs-2.7.jar 里面的 hdfs-default.xml 文件的相关配置，设置相关 SecondaryNameNode 的机制。如下所示：

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
  <description>每隔3600秒 checkpoint 一次</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
  <description>操作次数达到 1000000 次 checkpoint 一次</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
  <description>每隔60秒检查一次操作次数是否达到</description>
</property>

​dfs.namenode.checkpoint.period 和 dfs.namenode.checkpoint.txns 这两个参数只要任意满足于其中一个，都会触发 CheckPoint。

由于 CheckPoint 的过程需要消耗大量的 IO 和 CPU 资源，并且会阻塞 HDFS 的读写操作。所以，该过程不会在 NameNode 节点上触发。

• 在 Hadoop1.x 中，由 SecondaryNameNode 完成。
• 在 HA 模式下，由 StandbyNameNode 完成。

4 - 文件信息

FsImage 文件和 Edits 文件都并非是明文存储，需要使用 hdfs 命令转换后，才能查看。

4.1 - FsImage 文件

命名空间镜像文件。记录数据块到文件的映射、目录或文件的结构、属性等信息。

1、生成路径
基于 NameNode 节点。

[root@hadoop-01 current]# ls -l /data1/dfs/nn/current/
-rw-r--r-- 1 hdfs hdfs  217256 Aug 23 10:06 edits_0000000000087831638-0000000000087833535
-rw-r--r-- 1 hdfs hdfs   24450 Aug 23 10:08 edits_0000000000087833536-0000000000087833700
-rw-r--r-- 1 hdfs hdfs    8280 Aug 23 10:10 edits_0000000000087833701-0000000000087833756
-rw-r--r-- 1 hdfs hdfs 1048576 Aug 23 10:11 edits_inprogress_0000000000087833757
-rw-r--r-- 1 hdfs hdfs 4746069 Aug 23 08:22 FsImage_0000000000087816201
-rw-r--r-- 1 hdfs hdfs      62 Aug 23 08:22 FsImage_0000000000087816201.md5
-rw-r--r-- 1 hdfs hdfs 4751462 Aug 23 09:22 FsImage_0000000000087825882
-rw-r--r-- 1 hdfs hdfs      62 Aug 23 09:22 FsImage_0000000000087825882.md5
-rw-r--r-- 1 hdfs hdfs       9 Aug 23 10:10 seen_txid
-rw-r--r-- 1 hdfs hdfs     171 Jul 13 00:56 VERSION

2、查看文件
① 基本语法

Usage: bin/hdfs oiv [OPTIONS] -i INPUTFILE -o OUTPUTFILE
-i  要转换的文件
-o  转换后的文件路径
-p  转换格式（XML|FileDistribution|ReverseXML|Web|Delimited）

② 转换文件

[root@hadoop-01 current]# hdfs oiv -p XML -i FsImage_0000000000087825882 -o /tmp/FsImage.xml
[root@hadoop-01 current]# ls -l /tmp/FsImage.xml
-rw-r--r-- 1 root root 19863851 Aug 23 10:32 FsImage.xml
[root@hadoop-01 current]# 
[root@hadoop-01 current]# more /tmp/FsImage.xml

这样就可以看到 FsImage 文件的元数据信息。

4.2 - Edits 文件

操作日志文件。记录对所有文件的创建、删除、重命名等操作日志。

① 基本语法

Usage: bin/hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE
-i  要转换的文件
-o  转换后的文件路径
-p  转换格式：binary（hadoop 二进制格式）, xml（默认 XML 格式）, stats（打印关于编辑文件的统计信息）

② 转换文件

[root@cdh-uat02 current]# hdfs oev -p xml -i edits_inprogress_0000000000087833757 -o /tmp/edits.xml
[root@cdh-uat02 current]# ls -l /tmp/edits.xml
-rw-r--r-- 1 root root 320978 Aug 23 10:47 /tmp/edits.xml
[root@hadoop-01 current]#
[root@cdh-uat02 current]# more /tmp/edits.xml

这样就可以看到 Edits 文件的元数据信息。

4.3 - seen_txid 文件

记录了最后一次 CheckPoint 或者 edit 回滚（将 edits_inprogress_xxx 文件回滚成一个新的 Edits 文件）之后的 transaction ID。主要用来检查 NameNode 启动过程中 Edits 文件是否有丢失的情况。

5 - 多目录配置

NameNode 可以配置多个本地（fsimage）数据目录，每个目录存放的内容相同，这样可以增加运行的可靠性。

通过修改 hadoop-hdfs-2.7.jar 里面的 hdfs-default.xml 文件的相关配置，设置相关 SecondaryNameNode 的机制。如下所示：

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file://${hadoop.tmp.dir}01/dfs/name,file://${hadoop.tmp.dir}02/dfs/name</value>
</property>

---

::: hljs-center

扫一扫，我们的故事就开始了。

:::