NameNode和SecondaryNameNode的工作机制
Posted 刘元涛
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了NameNode和SecondaryNameNode的工作机制相关的知识,希望对你有一定的参考价值。
1)第一阶段:NameNode启动
(1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)NameNode记录操作日志,更新滚动日志。
(4)NameNode在内存中对元数据进行增删改。
2)第二阶段:Secondary NameNode工作
(1)Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
(2)Secondary NameNode请求执行CheckPoint。
(3)NameNode滚动正在写的Edits日志。
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
(6)生成新的镜像文件fsimage.chkpoint。
(7)拷贝fsimage.chkpoint到NameNode。
(8)NameNode将fsimage.chkpoint重新命名成fsimage。
以上是关于NameNode和SecondaryNameNode的工作机制的主要内容,如果未能解决你的问题,请参考以下文章
HDFS的数据流NameNode和SecondaryNameNodeFsimage和Edits解析CheckPoint时间设置NameNode故障处理集群安全模式NameNode多目录配置
Hadoop Datanode、namenode、secondary-namenode、job-tracker 和 task-tracker