HDFS基本原理
Posted zkio
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HDFS基本原理相关的知识，希望对你有一定的参考价值。
HDFS
NameNode(NN): 接受客户端的读写服务
NameNode保存metadata信息:
--fsimage中包括:
1.文件ownership和permissions
2.文件包含哪些块儿
--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode
3.Block保存在哪个DataNode(由DataNode启动时上报)
NameNode的metadata信息在启动后会加载到内存
metadata存贮到磁盘文件名为"fsimage"
metadata的操作日志记录在"edits"
DataNode启动时上报3,结合1,2形成完整metadata信息
(Hadoop2.x环境HA无SNN)
SecondNameNode(SNN):帮助NN合并fsimage和edits文件,减少启动时间
触发合并时机:
1.fs_checkpoint_period默认3600s
2.fs.checkpoint.size默认64M
DataNode(DN)
1.存贮数据(Block)
2.启动时向NN汇报Block消息
3.与DN心跳机制,默认3s一次,10mins无响应lost
以上是关于HDFS基本原理的主要内容，如果未能解决你的问题，请参考以下文章