Hadoop之HDFS读写流程

Posted linyufeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop之HDFS读写流程相关的知识,希望对你有一定的参考价值。

 

 

1. HDFS写流程

 

技术图片
HDFS写流程

 

副本存放策略: 上传的数据块后,触发一个新的线程,进行存放。
第一个副本:与client最近的机器(基于性能考虑)
第二个副本:跨机器存放该副本(考虑数据安全性)
第三个副本:与第一个,第二个副本都不在同一个机架上(考虑数据安全性)

2. HDFS写流程

 

技术图片
HDFS读流程

 

以上是关于Hadoop之HDFS读写流程的主要内容,如果未能解决你的问题,请参考以下文章