HDFS 读流程和写流程

Posted 2021-04-14 一只阿木木

问题：

1. 数据块的大小设置为多少合适，为什么

2. NameNode 有哪些容错的机制，如果它挂掉了怎么办

   
   

答：128M。数据块太小，一般的文件也会分割成多个文件，这样查找数据的效率是不高的。同时，数据块分配太小，对NameNode 内存消耗比较严重。数据块过大，对并行的支持不是太好。还会涉及其他问题。比如系统重启时候需要重新加载数据，数据块过大，系统恢复的时间就越长。

答：Hadoop2 可以配置成HA也就是高可用集群，集群中有两个NameNode 节点，一台处于Active 状态为主节点，另一台处于standby 状态，为备用节点。两者的数据时刻保持一致。当主节点出现问题时，备用节点自动切换，用户基本感觉不到，这样就避免了NameNode 单点问题。

HDFS 写流程

1. 客户端向NameNode 发起写数据请求

2. 分块写入DataNode 节点，DataNode 自动完成副本备份

3. DataNode 向NameNode 汇报存储完成，NameNode 通知客户端

HDFS 读流程

1. 客户端向NameNode 发起读数据请求

2. NameNode 找出距离最近的DataNode 节点信息

3. 客户端从DataNode 分块下载文件