HDFS架构和组成

Posted 大数据面试宝典

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS架构和组成相关的知识,希望对你有一定的参考价值。

HDFS架构和组成

HDFS架构和组成
HDFS架构和组成

HDFS架构和组成


HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成NameNode, DataNode,client,和SencondayNameNode组成

HDFS架构和组成


NameNode(Master):

     1. 管理 HDFS 的命名空间,维护元数据。

     2.  接收客户端的请求。

     3.  管理数据块(Block)映射信息.      

     4.  配置副本策略

DataNode(Slave):

     1. 存储实际的数据块 。

     2. 执行数据块的读/写操作。

     3. 向namenode上传心跳信息。

Client(客户端):

     1、文件上传 HDFS 的时候,Client 将文件切分成Block,然后进行存储。

     2、与 NameNode 交互,获取文件的位置信息。

     3、与 DataNode 交互,读取或者写入数据。

     4、Client 提供一些命令来管理 HDFS,比如启动或者关闭HDFS。

SencondayNameNode(辅助工作者):

     1、辅助 NameNode,分担其工作量。

     2、定期合并 fsimage和fsedits,并推送给NameNode。

     3、在紧急情况下,可辅助恢复 NameNode。

以上是关于HDFS架构和组成的主要内容,如果未能解决你的问题,请参考以下文章

HDFS架构

HDFS组成架构

HDFS组成架构文件块大小

HDFS 架构

HBase架构组成及原理

2.5 HDFS体系架构