Hadoop—如何查看HDFS默认的ns命名空间和所有命名空间列表

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop—如何查看HDFS默认的ns命名空间和所有命名空间列表相关的知识,希望对你有一定的参考价值。

参考技术A 如何查看hdfs的默认命名空间是哪个?

1)通过查询 core-site.xml 中的 fs.defaultFS 配置值。
2)shell命令

或者

如何查看hdfs的所有命名空间列表?

1)通过查询 core-site.xml 中的 dfs.nameservices 配置值
2)shell命令

Hadoop之联邦HDFS

联邦Hadoop

是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性,联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间,不同NameNode之间的命名空间相互独立。数据块池不再切分,因此,每个DataNode需要注册到NameNode。

HDFS的底层存储是可以水平拓展的,但namespace不可以。当前的namespace只能放在单个NamwNode上,而NameNode存储了这个分布式文件系统的元数据信息,限制了集群中的数据块,文件和目录的数目。

  1. 多个NameNode共用一个集群里的DataNode上的资源,而每个NameNode的哦可以单独对外提供服务。
  2. 每个NameNode都会定义一个存储池,有单独的id,每个DataNode都为所有存储池提供存储。
  3. DataNode会按照存储池id向其对应的NameNode汇报块信息,也会会ibao所有NameNode本地存储可用资源情况。
  4. 如果要客户端方便的访问若干个NameNode的资源,可以使用客户端挂载表,把不同的目录映射到不同的NameNode,NameNode上必须存在相应的目录。

以上是关于Hadoop—如何查看HDFS默认的ns命名空间和所有命名空间列表的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop之联邦HDFS

Hadoop ---- HDFS

HDFS Federation

我们如何才能从 hdfs 联邦的一个命名空间中排除一些数据节点?

在hdfs(namenode)中使用的命名空间和元数据的含义是什么

Hadoop_06_Hadoop的HDFS的概念和特性