HDFS读写分析

Posted terrycode

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS读写分析相关的知识,希望对你有一定的参考价值。

写流程:

技术图片

 

正常:

1.HDFS客户端调用分布式文件系统的create方法远程过程调用namenode的create方法

namenode内完成几项判断

返回客户端

2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock

返回列表 然后开始写

3.chunk  package  data queue  

ack queue

4.检验

 

异常分析:网络中断

namenode 

1.关闭pipline

2.新的id,version

3.心跳机制 给命令

4.删除老的数据

5.构建新的pipline

以上是关于HDFS读写分析的主要内容,如果未能解决你的问题,请参考以下文章

HDFS架构原理和读写流程分析,数据完整性,HA,fsimage,editlog

06Hadoop框架HDFS读写流程

HDFS QJM机制分析

HDFS RPC 性能分析

HDFS“慢节点”监控分析功能

Hadoop 概念扩展