HDFS的写入流程及副本复制策略

Posted 2021-08-05 果汁华

步骤补充
    1.向namenode发送请求上传文件 然后在namenode里会进行检查是否存在该文件，权限问题 通过则给一个输出流对象
    2.建立好pipeline管道后，客户端先把文件写入缓存中，达到一个块的大小时，会与第一个datanode建立连接开始流式的传输数据，这个datanode会一小部分一小部分的（4k）接受数据然后写入本地仓库，同时把这些数据传输到第二个datanode上；
第二个datanode同样完成上面的操作，再传到第三个datanode ；
    3. 整个上传完成后，namenode更新内存元数据 关闭流（因为是IO操作的）

副本复制策略

1、Client 在哪发起的上传请求。

1）如果说客户端发起请求的位置在HDFS集群中，client会执行就近原则，存储Client所在机器节点上 这是对于第一个副本来说

2）如果client 不再HDFS上发送上传请求，第一副本会随机选择一个节点

2、第二份副本为了安全考虑 在不同机架上的随机节点上；

3、第三份副本 与第二份副本在相同机架上的不同节点