HDFS读写分析
Posted terrycode
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS读写分析相关的知识,希望对你有一定的参考价值。
写流程:
正常:
1.HDFS客户端调用分布式文件系统的create方法远程过程调用namenode的create方法
namenode内完成几项判断
返回客户端
2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock
返回列表 然后开始写
3.chunk package data queue
ack queue
4.检验
异常分析:网络中断
namenode
1.关闭pipline
2.新的id,version
3.心跳机制 给命令
4.删除老的数据
5.构建新的pipline
以上是关于HDFS读写分析的主要内容,如果未能解决你的问题,请参考以下文章