Hadoop之联邦HDFS

Posted 浮世间

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop之联邦HDFS相关的知识,希望对你有一定的参考价值。

联邦Hadoop

是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性,联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间,不同NameNode之间的命名空间相互独立。数据块池不再切分,因此,每个DataNode需要注册到NameNode。

HDFS的底层存储是可以水平拓展的,但namespace不可以。当前的namespace只能放在单个NamwNode上,而NameNode存储了这个分布式文件系统的元数据信息,限制了集群中的数据块,文件和目录的数目。

  1. 多个NameNode共用一个集群里的DataNode上的资源,而每个NameNode的哦可以单独对外提供服务。
  2. 每个NameNode都会定义一个存储池,有单独的id,每个DataNode都为所有存储池提供存储。
  3. DataNode会按照存储池id向其对应的NameNode汇报块信息,也会会ibao所有NameNode本地存储可用资源情况。
  4. 如果要客户端方便的访问若干个NameNode的资源,可以使用客户端挂载表,把不同的目录映射到不同的NameNode,NameNode上必须存在相应的目录。

以上是关于Hadoop之联邦HDFS的主要内容,如果未能解决你的问题,请参考以下文章

大数据面试题:Hadoop的联邦机制核心高频面试题

2021年大数据Hadoop(十五):Hadoop的联邦机制 Federation

HDFS联邦(Federation)

Hadoop之HDFS的热备份

hadoop联邦模式的配置

hadoop详解HDFS Federation(联邦)详解及优劣势分析