Hadoop之HDFS读写流程

Posted linyufeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop之HDFS读写流程相关的知识,希望对你有一定的参考价值。

 

 

1. HDFS写流程

 

技术图片
HDFS写流程

 

副本存放策略: 上传的数据块后,触发一个新的线程,进行存放。
第一个副本:与client最近的机器(基于性能考虑)
第二个副本:跨机器存放该副本(考虑数据安全性)
第三个副本:与第一个,第二个副本都不在同一个机架上(考虑数据安全性)

2. HDFS写流程

 

技术图片
HDFS读流程

 

以上是关于Hadoop之HDFS读写流程的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术之Hadoop(HDFS)概述Shell操作API操作读写流程工作机制

大数据技术之Hadoop(HDFS)概述Shell操作API操作读写流程工作机制

Hadoop之HDFS(HDFS的数据流读写数据) (面试开发重点)

大数据基石之Hadoop的读写流程与2.X架构

hadoop生态圈面试精华之HDFS部分

06Hadoop框架HDFS读写流程