hadoop---hdfs详解

Posted 2021-01-02 jason-lc

hdfs名词解释：
Block: 在hdfs中文件都是采用分块的方式存储，每个block放在不同的DataNode上，block标识是一个三元组（block ID，numBytes，generationStamp），blockID是唯一的，具体分配由namenode节点设置，然后再由DataNode上建立block文件，同时建立对应的block meta文件。
Packet:在DFSclient与DataNode之间通信的过程中，文件采用的是基于块的方式进行，但数据发送过程中是以packet的方式进行的，每个packet包含了多个chunk，同时对chunk进行checksum计算，生成checksum bytes。
小结：一个文件被拆分成多个block持续化存储；传送数据时一个block又被拆分成多个packet；一个packet包含多个chunk。
packet结构与定义：packet分为两类，一类是实际数据包，另一类是heatbeat数据包，packet数据包的组成结构：

packet由header和data两部分组成，header部分包含packet的概要属性