HDFS文件MetaData操作

Posted 2021-04-14 Hadoop生态社区

元数据操作基本步骤：

（1）创建HDFS客户端fsClient

（2）获取HDFS文件状态FileStatus

（3）查看HDFS文件元数据

我们先来上个图，如下：

 

这是我们在未作任何操作时的情况，我们看到在HDFS的upload目录中有两个文件，分别是hadoop-2.7.3.zip和hadoop-2.7.3copy.zip，大小都是211.35，对于这个文件大小，根据HDFS文件系统的存储策略，在HDFS中将会被分成两个数据块，就是之前在我们分享的HDFS文件上传和下载一文中看到的Block0和Block1，下面我们做两个事情，第一，我们想看看upload目录的metadata，第二，我们想看看hadoop-2.7.3.zip文件在整个集群中是怎么存储的！

好，我们先来上第一份代码，如下：

 

运行程序，如下：

 

结果中输出了upload目录下两个文件的信息，包括文件的路径、文件名、是否是目录、文件的大小、首个数据块的大小，哈哈，这个就没什么要解释的了。

我们来看看第二个问题，hadoop-2.7.3.zip文件在整个集群中是怎么存储的，代码如下：

 

运行程序，结果如下：

 

我们看到hadoop-2.7.3.zip真的被分成了两个数据块，很惊奇！很意外！分别存储在了113和114的两个服务器上（我们之前创建HDFS客户端连接的是112服务器NameNode节点，113和114为集群中的DataNode节点），而且每个数据块都在113和114上有副本。