hdfs 查看 datanode 属于 哪个namenode
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hdfs 查看 datanode 属于 哪个namenode相关的知识，希望对你有一定的参考价值。
参考技术A ：HDFS是一种分布式文件系统，Hadoop集群借此来存储所有需要分析的输入数据以及由MapReduce作业生成的任何输出结果。HDFS是一种基于数据块的文件系统，它跨越集群中的多个节点，并且使用用户数据可以存储在文件中。它提供了传统的分层文件组织HDFS基本原理
HDFS
NameNode(NN): 接受客户端的读写服务
NameNode保存metadata信息:
--fsimage中包括:
1.文件ownership和permissions
2.文件包含哪些块儿
--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode
3.Block保存在哪个DataNode(由DataNode启动时上报)
NameNode的metadata信息在启动后会加载到内存
metadata存贮到磁盘文件名为"fsimage"
metadata的操作日志记录在"edits"
DataNode启动时上报3,结合1,2形成完整metadata信息
(Hadoop2.x环境HA无SNN)
SecondNameNode(SNN):帮助NN合并fsimage和edits文件,减少启动时间
触发合并时机:
1.fs_checkpoint_period默认3600s
2.fs.checkpoint.size默认64M
DataNode(DN)
1.存贮数据(Block)
2.启动时向NN汇报Block消息
3.与DN心跳机制,默认3s一次,10mins无响应lost
以上是关于hdfs 查看 datanode 属于 哪个namenode的主要内容，如果未能解决你的问题，请参考以下文章