HDFS 中使用的术语是不是清晰？

Posted 2023-02-16

【中文标题】HDFS 中使用的术语是不是清晰？

【英文标题】：Clarity of terms used in HDFS?HDFS 中使用的术语是否清晰？

【发布时间】：2017-04-14 11:59:06

【问题描述】：

我在熟悉 HDFS 的过程中遇到了几个术语。很少有这样的术语：namespace、metadata、transaction logs、fsimage、editlogs。

有时似乎所有这些术语都描述了同一件事，即“拥有一些信息”，但我对此并不清楚。

一般metadata 表示关于数据的数据，那么metadata 是指所有这些术语还是所有这些术语在 Hadoop HDFS 的上下文中具有不同的用途？

【参考方案1】：

命名空间：在 hadoop 中，“命名空间”指的是文件名，其路径由名称节点维护。

元数据：包括文件名、大小、权限等... 此元数据存储在一个名为 fsimage 的文件中。

fsimage : hdfs 文件系统在某个时间点的完整状态。

对文件系统所做的任何更改都不会立即写入fsimage，而是存储在单独的文件中（与fsimage 被存储）称为 editlog。

editlogs：这是一个日志，列出了在最近的 fsimage 之后所做的每个文件系统更改。