centos7把文件存放在HDFS下

Posted 2023-05-09

参考技术A 复制文件。
centos7中支持的磁盘格式有：1.FAT16，使用了16位的空间来表示每个扇区的配置文件；2.FAT32，采用32位二进制数记录管理的磁盘文件管理方式；3.NTFS，为网络和磁盘配额、文件加密等管理安全特性设计的磁盘格式。FAT16是指使用了16位的空间来表示每个扇区的配置文件，是用于记录文件所在位置的表格，当FAT16容量超出时，所使用的簇就必须扩增，从而适应更大的磁盘空间。

探索Hadoop数据存放目录

参考技术A core-site.xml文件位于$HADOOP_HOME/etc/hadoop路径下，配置了hadoop数据存放路径，包括namenode、datanode、journalnode的相关数据。

接下来，分别看看集群中不同节点的data目录下有些什么

显然，hadoop001和hadoop002的data目录下文件层次结构是一致的，hadoop003的data目录下少了/hdfs/name相关内容。这是因为hadoop001和hadoop002分别是Namenode主备节点，而hadoop003仅为datanode。

进入/opt/module/hadoop-2.7.3/data/hdfs/name

hadoop001和hadoop002是主备关系，$HADOOP_HOME/etc/hadoop/data/hdfs/name路径下存放了主备同步所需的三类文件：edits、fsimage、seen_txid。

除上述主备同步的文件以外，还有一个VERSION文件，用于记录namenode启动或重启、重新格式化后的重要信息。

以hadoop003为例

集群中每个节点都部署了Journal_node，以hadoop003为例

namenode、datanode、journalnode的VERSION中记录的clusterID必须一致。