探索Hadoop数据存放目录

Posted 2023-03-20

参考技术A core-site.xml文件位于$HADOOP_HOME/etc/hadoop路径下，配置了hadoop数据存放路径，包括namenode、datanode、journalnode的相关数据。

接下来，分别看看集群中不同节点的data目录下有些什么

显然，hadoop001和hadoop002的data目录下文件层次结构是一致的，hadoop003的data目录下少了/hdfs/name相关内容。这是因为hadoop001和hadoop002分别是Namenode主备节点，而hadoop003仅为datanode。

进入/opt/module/hadoop-2.7.3/data/hdfs/name

hadoop001和hadoop002是主备关系，$HADOOP_HOME/etc/hadoop/data/hdfs/name路径下存放了主备同步所需的三类文件：edits、fsimage、seen_txid。

除上述主备同步的文件以外，还有一个VERSION文件，用于记录namenode启动或重启、重新格式化后的重要信息。

以hadoop003为例

集群中每个节点都部署了Journal_node，以hadoop003为例

namenode、datanode、journalnode的VERSION中记录的clusterID必须一致。