hdfs 查看 datanode 属于 哪个namenode

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdfs 查看 datanode 属于 哪个namenode相关的知识,希望对你有一定的参考价值。

参考技术A :HDFS是一种分布式文件系统,Hadoop集群借此来存储所有需要分析的输入数据以及由MapReduce作业生成的任何输出结果。HDFS是一种基于数据块的文件系统,它跨越集群中的多个节点,并且使用用户数据可以存储在文件中。它提供了传统的分层文件组织

HDFS基本原理

HDFS

技术分享图片

NameNode(NN): 接受客户端的读写服务

NameNode保存metadata信息:
--fsimage中包括:
1.文件ownership和permissions
2.文件包含哪些块儿
--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode
3.Block保存在哪个DataNode(由DataNode启动时上报)

NameNode的metadata信息在启动后会加载到内存
metadata存贮到磁盘文件名为"fsimage"
metadata的操作日志记录在"edits"

DataNode启动时上报3,结合1,2形成完整metadata信息

(Hadoop2.x环境HA无SNN)
SecondNameNode(SNN):帮助NN合并fsimage和edits文件,减少启动时间
触发合并时机:
1.fs_checkpoint_period默认3600s
2.fs.checkpoint.size默认64M

DataNode(DN)
1.存贮数据(Block)
2.启动时向NN汇报Block消息
3.与DN心跳机制,默认3s一次,10mins无响应lost

以上是关于hdfs 查看 datanode 属于 哪个namenode的主要内容,如果未能解决你的问题,请参考以下文章

HDFS的工作流程

HDFS 读写解析

什么是HDFS硬盘分布式存储?

Hadoop源码学习之HDFS

Hadoop_HDFS HA 及解决方案

DataNode生命线消息