4.hadoop系列之HDFS读写数据流程
Posted 沈健_算法小生
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了4.hadoop系列之HDFS读写数据流程相关的知识，希望对你有一定的参考价值。
本文我们学习HDFS读写数据流程，本章是面试重点
1. 写数据流程
我觉得图已经比较清楚了，花了我1小时记忆与作图，啧啧啧
2. 写数据流程
3. 节点距离计算
HDFS写数据过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据
节点距离：两个节点到达最近的公共祖先的距离总和
4. 机架感知
- 第一个副本在client所处的节点上，如果client在集群外，随机选一个
- 第二个副本在另一个机架上随机选择一个节点
- 第三个副本在第二个副本所在机架上随机选择一个节点
欢迎关注公众号算法小生，与我探讨
以上是关于4.hadoop系列之HDFS读写数据流程的主要内容，如果未能解决你的问题，请参考以下文章