HDFS元数据架构分析与常见操作

Posted 2021-04-14 数据基础架构研习社

正文共： 1527字 20图

预计阅读时间： 24分钟

Hadoop中的HDFS是分布式数据存储的关键组件，而理解其元数据的结构对于性能优化、问题排查、冷热数据分析、甚至是数据恢复都起着关键的作用。

比如冷热数据分析，大家可以去看以下一个专利（其实也就是一个小思路... 无力吐槽国内的专利..），虽然写的非常简单，但是说明问题：

《一种基于hadoop元数据的冷数据识别方法及系统》https://patents.google.com/patent/CN106503198A/zh

另外，比如这一篇说的就是一个比较完整的方案，看着复杂，抓住本质其实不难。

因此，掌握本文提到的HDFS元数据结构和常见操作是这些集群分析管理的根本。

1

SbNN查看是否满足创建检查点的条件

• 距离上次checkpoint的时间间隔

                                  >= ${dfs.namenode.checkpoint.period}

• edits中的事务条数达到 ${dfs.namenode.checkpoint.txns} 限制

2

StandbyNN生成fsimage

SNN将内存中当前的状态保存成一个新的文件，命名为fsimage.ckpt_txid。其中txid是最后一个edit中的最后一条事务的ID（transaction ID）。然后为该fsimage文件创建一个MD5文件，并将fsimage文件重命名为fsimage_txid。

3

SNN通知ANN来拿fsimage

SNN向ANN发送一条HTTP GET请求。请求中包含了SNN的域名，端口以及新fsimage的txid。

4

ANN过来拿fsimage

ANN收到请求后，用获取到的信息反过来向SNN再发送一条HTTP GET请求，获取新的fsimage文件。这个新的fsimage文件传输到ANN上后，也是先命名为fsimage.ckpt_txid，并为它创建一个MD5文件。然后再改名为fsimage_txid。fsimage过程完成。

 

扫描二维码

关注更多精彩

 

欢 迎 将 文 章 分 享 到 朋 友 圈
如 需 转 载 ， 请 在 后 台 回 复 “ 转 载 ” 获 取 授 权