hadoop namenode

Posted 2021-01-18 413Xiaol

存储文件系统元数据，例如：文件目录结构，不同文件的分块情况，每块存储在那个节点，权限等

这些元数据全部存储在内存中，所以，namenode要求内存比较大

hdfs在存文件的时候会按照块存储，每一块默认128M

如果存储的文件很小，他在hdfs里也会占用128M，所以hdfs适合存储大块的数据

如果文件大于128M，文件将会被分成多个块存储。

hdfs中每个块会默认备份2份，算上自己也就是存3份

hdfs备份数目配置(只用配master)：
　　路径：
　　　　/usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
　　作用：
　　　　告诉集群每个块的备份数目
　　配置项：
　　　　name: dfs.replication
　　　　vale: 备份数目
　　例如：
　　　　<property>
　　　　　　<name>dfs.replication</name>
　　　　　　<value>2</value>
　　　　</property>