HDFS读写文件流程

Posted 2021-04-14 狗蛋日记本

基础概念

block

文件上传前需要分块（block），一般为128MB。

• 块太小：寻址时间占比过高。

• 块太大：Map任务数太少，作业执行速度变慢。

packet

packet是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。

chunk

chunk是client向DataNode，或DataNode的PipLine之间进行数据校验的基本单位，默认512Byte，因为用作校验，故每个chunk需要带有4Byte的校验位。所以实际每个chunk写入packet的大小为516Byte。

---

HDFS读写文件流程

读文件流程

1. client端发送读文件请求（通过Distributed FileSystem向NameNode请求下载文件）给namenode，如果文件不存在，返回错误信息，否则，将该文件对应的block及其所在datanode位置发送给client

2. client收到文件位置信息后，挑选一台DataNode（==就近原则，然后随机==）服务器，建立socket连接并行获取数据。

3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以packet为单位来做校验）。

4. 客户端以packet为单位接收，先在本地缓存，然后写入目标文件。

写文件流程

1. 客户端向NameNode发出写文件请求。

3. Clinet将要存储的数据==按128MB切分成若干块==

4. Clinet得到NameNode的响应，打开文件输出流，向第一个DataNode请求打开管道，DN1接受的信息后继续通知DN2，DN2接受到DN1的信息后通知DN3,DN3接受到信息后确认没有更多副本了，向DN2返回响应信息，DN2获取到DN3的响应后向DN1返回响应，DN1得到响应后向Clinet返回响应。

5. Clinet获得响应后，确认pipeline（管线，管线上每个节点都能收到相同的数据流）已开通，开始写入数据。==但是客户端跟dn交互的时候只个一个DN服务节点交互，然后有这个DN服务与下一个DN服务建立scoket，在由下一个DN与下下个DN服务建立scoket，这个过程叫pipeline管道模式。==当dn收到了完整的块后，将向nn服务汇报心跳，提交块信息。同时客户端还在上传第二个块的信息。当客户的提交最后一个块的时候，其实dn服务已经把之前的块信息完成了心跳。这个过程也是时间重叠的技术，不会浪费时间效率。（简述：并不是写好一个块或一整个文件后才向后分发，而是同时进行）

7. 重复以上操作，直到所有block都存入。