HDFS读写文件流程

Posted 狗蛋日记本

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS读写文件流程相关的知识,希望对你有一定的参考价值。

基础概念

block

文件上传前需要分块(block),一般为128MB。

  • 块太小:寻址时间占比过高。

  • 块太大:Map任务数太少,作业执行速度变慢。

packet

packet是client端向DataNode,或DataNode的PipLine之间传数据的基本单位,默认64KB。

chunk

chunk是client向DataNode,或DataNode的PipLine之间进行数据校验的基本单位,默认512Byte,因为用作校验,故每个chunk需要带有4Byte的校验位。所以实际每个chunk写入packet的大小为516Byte。


HDFS读写文件流程

读文件流程

  1. client端发送读文件请求(通过Distributed FileSystem向NameNode请求下载文件)给namenode,如果文件不存在,返回错误信息,否则,将该文件对应的block及其所在datanode位置发送给client

  2. client收到文件位置信息后,挑选一台DataNode(==就近原则,然后随机==)服务器,建立socket连接并行获取数据。

  3. DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以packet为单位来做校验)。

  4. 客户端以packet为单位接收,先在本地缓存,然后写入目标文件。

写文件流程

  1. 客户端向NameNode发出写文件请求。

  2. Clinet将要存储的数据==按128MB切分成若干块==

  3. Clinet得到NameNode的响应,打开文件输出流,向第一个DataNode请求打开管道,DN1接受的信息后继续通知DN2,DN2接受到DN1的信息后通知DN3,DN3接受到信息后确认没有更多副本了,向DN2返回响应信息,DN2获取到DN3的响应后向DN1返回响应,DN1得到响应后向Clinet返回响应。

  4. Clinet获得响应后,确认pipeline(管线,管线上每个节点都能收到相同的数据流)已开通,开始写入数据。==但是客户端跟dn交互的时候只个一个DN服务节点交互,然后有这个DN服务与下一个DN服务建立scoket,在由下一个DN与下下个DN服务建立scoket,这个过程叫pipeline管道模式。==当dn收到了完整的块后,将向nn服务汇报心跳,提交块信息。同时客户端还在上传第二个块的信息。当客户的提交最后一个块的时候,其实dn服务已经把之前的块信息完成了心跳。这个过程也是时间重叠的技术,不会浪费时间效率。(简述:并不是写好一个块或一整个文件后才向后分发,而是同时进行)

  5. 重复以上操作,直到所有block都存入。


以上是关于HDFS读写文件流程的主要内容,如果未能解决你的问题,请参考以下文章

HDFS-文件读写流程

HDFS文件读写流程简单图解

Hadoop面试重点HDFS 的读写流程

HDFS架构及文件读写流程

HDFS读写流程简介

图文详解HDFS 系统架构与文件数据读写流程