Namenode的元数据存储

Posted

技术标签:

【中文标题】Namenode的元数据存储【英文标题】:Metadata storage by Namenode 【发布时间】:2015-08-15 12:34:49 【问题描述】:

namenode 还知道给定文件的所有块所在的数据节点,但是,它不会永久存储块位置,因为这些信息是在系统启动时从数据节点重建的。

坚持在这里是什么意思?

【问题讨论】:

【参考方案1】:

这里的持久化意味着名称节点会将有关块信息的信息存储在内存中,而不是在文件系统或 HDFS 或任何数据库或任何类型的外部存储中维护这些信息。

想想如果它被持久化在文件系统上,那么下次当您启动集群时,您就会拥有所有信息。但是您认为名称节点所拥有的信息会是最新的吗?假设数据节点可能由于硬件故障而关闭,因此名称节点的信息将是陈旧的。

【讨论】:

以上是关于Namenode的元数据存储的主要内容,如果未能解决你的问题,请参考以下文章

arcGIS 中要怎么才能存储元数据 ,之后又能导出

HDFS原理

HDFS---NameNode管理元数据及HA模式

hadoop中 namenode的持久化

04 namenode和datanode

HDFS的读写背后