NameNode和SecondaryNameNode的工作机制

Posted 刘元涛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了NameNode和SecondaryNameNode的工作机制相关的知识,希望对你有一定的参考价值。

1)第一阶段:NameNode启动

 (1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。

(2)客户端对元数据进行增删改的请求。

(3)NameNode记录操作日志,更新滚动日志。

(4)NameNode在内存中对元数据进行增删改。

2)第二阶段:Secondary NameNode工作

(1)Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

(2)Secondary NameNode请求执行CheckPoint。

(3)NameNode滚动正在写的Edits日志。

(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。

(6)生成新的镜像文件fsimage.chkpoint。

(7)拷贝fsimage.chkpoint到NameNode。

(8)NameNode将fsimage.chkpoint重新命名成fsimage。

以上是关于NameNode和SecondaryNameNode的工作机制的主要内容,如果未能解决你的问题,请参考以下文章

HDFS的数据流NameNode和SecondaryNameNodeFsimage和Edits解析CheckPoint时间设置NameNode故障处理集群安全模式NameNode多目录配置

04 namenode和datanode

NameNode和SecondaryNameNode

浅析Secondary NameNode与namenode

Hadoop中的Namenode故障和恢复

Hadoop Datanode、namenode、secondary-namenode、job-tracker 和 task-tracker