大数据入门第六天——HDFS详解

Posted 2020-10-22 jiangbei

一、概述

　　1.HDFS中的角色

　　　　  NameNode：

　　　　　　负责管理整个文件系统的元数据

　　　　Secondary NameNode：

 

　　　　DataNode：

　　　　　　负责管理用户的文件数据块　　　　

　　　　　文件会按照固定的大小（blocksize）切成若干块（由上传的客户端进行切块处理，这样不大于128M切块大小的实际是多少就是多少）后分布式存储在若干台datanode上

 

　　　　　　Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量

 

　　详细角色信息，参考：https://www.w3cschool.cn/hadoop/xvmi1hd6.html