hdfs写数据流程

Posted gaoshanmuxue

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdfs写数据流程相关的知识,希望对你有一定的参考价值。

1,客户端向nn请求上传文件,nn检查该文件和父目录是否存在。

2,nn返回响应给客户端,是否可以上传文件。

3,客户端向nn请求上传第一个块的dn的信息。

4,nn根据副本原则,返回给客户端块上传的dn节点信息。

5,客户端和dn1建立连接,请求上传数据,dn1接着和dn2建立连接,dn2和dn3建立连接,通信管道就建立完成。

6,dn1,dn2,dn3 逐级返回应答给客户端。

7,客户端开始从磁盘以packet为单位读取数据上传到dn1,dn1收到packet后,会传给dn2,dn2收到packet后传给dn3.

8,当一个packet传输完成后,客户端在次和nn请求上传第二个块的dn服务器。重复执行3-7步。

以上是关于hdfs写数据流程的主要内容,如果未能解决你的问题,请参考以下文章

HDFS的写数据流程以及异常写数据流程

HDFS数据流——写数据流程

浅谈HDFS写数据流程的核心架构设计(上)

Hadoop--04---HDFS_02----读写流程

Hadoop之HDFS读写流程

HDFS 的写数据流程