hdfs读写原理

Posted 一起点学网

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdfs读写原理相关的知识,希望对你有一定的参考价值。

一、角色出演


如上图所示,HDFS存储相关角色与功能如下:

Client:客户端,系统使用者,调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。

Namenode:元数据节点,是系统唯一的管理者。负责元数据的管理;与client交互进行提供元数据查询;分配数据存储节点等。

Datanode:数据存储节点,负责数据块的存储与冗余备份;执行数据块的读写操作等。

二、写入数据


 

1、发送写数据请求

hdfs读写原理

HDFS中的存储单元是block。文件通常被分成64或128M一块的数据块进行存储。与普通文件系统不同的是,在HDFS中,如果一个文件大小小于一个数据块的大小,它是不需要占用整个数据块的存储空间的。

2、文件切分

hdfs读写原理

3、DN分配

hdfs读写原理

hdfs读写原理

4、数据写入

hdfs读写原理

hdfs读写原理

5、完成写入

hdfs读写原理

hdfs读写原理

6、角色定位


以上是关于hdfs读写原理的主要内容,如果未能解决你的问题,请参考以下文章

hdfs读写原理

HDFS|基本概念和读写原理

Hadoop之HDFS读写原理

HDFS读写原理

HDFS原理解析(总体架构,读写操作流程)

Hbase读写原理