Hadoop--05---HDFS_03----NameNode 和2NN DataNode

Posted 2022-05-24 高高for 循环

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• NameNode 和SecondaryNameNode
• • 1. NN 和2NN 工作机制
  • • • 思考：NameNode 中的元数据是存储在哪里的？
    • 1）第一阶段：NameNode 启动
    • 2）第二阶段：Secondary NameNode 工作
  • 2. Fsimage 和Edits 解析
  • 3. CheckPoint 时间设置
• DataNode
• • 1. DataNode 工作机制
  • 2. 数据完整性
  • • 校验算法crc（32）
  • 3. 掉线时限参数设置

---

NameNode 和SecondaryNameNode

1. NN 和2NN 工作机制

思考：NameNode 中的元数据是存储在哪里的？

1）第一阶段：NameNode 启动

（1）第一次启动NameNode 格式化后，创建Fsimage 和Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode 记录操作日志，更新滚动日志。
（4）NameNode 在内存中对元数据进行增删改。

2）第二阶段：Secondary NameNode 工作

（1）Secondary NameNode 询问NameNode 是否需要CheckPoint。直接带回NameNode
是否检查结果。
（2）Secondary NameNode 请求执行CheckPoint。
（3）NameNode 滚动正在写的Edits 日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint 到NameNode。
（8）NameNode 将fsimage.chkpoint 重新命名成fsimage。

2. Fsimage 和Edits 解析

3. CheckPoint 时间设置

DataNode

1. DataNode 工作机制

2. 数据完整性

校验算法crc（32）

3. 掉线时限参数设置