hdfs 名称节点和数据节点

Posted 2020-08-11 hadoop_dev

　名字节点(NameNode )是HDFS主从结构中主节点上运行的主要进程，它指导主从结构中的从节点，数据节点(DataNode)执行底层的I/O任务。

　　名字节点是HDFS的书记员，维护着整个文件系统的文件目录树，文件/目录的元信息和文件的数据块索引，即每个文件对应的数据块列表(后面的讨论中，上述关系也称名字节点第一关系)。这些信息、以两种形式存储在本地文件系统中:一种是命名空间镜像(File System Image, FSImage,也称文件系统镜像)，另一种是命名空间镜像的编辑日志(Edit Log) 。

　　命名空间镜像保存着某一特定时刻HDFS的目录树、元信息和数据块索引等信息，后续对这些信息的改动，则保存在编辑日志中，它们一起提供了一个完整的名字节点第一关系。
　　同时，通过名字节点，客户端还可以了解到数据块所在的数据节点信息。需要注意的是，名字节点中与数据节点相关的信息不保留在名字节点的本地文件系统中，也就是上面提到的命名空间镜像和编辑日志中，名字节点每次启动时，都会动态地重建这些信息，这些信息构成了名字节点第二关系。运行时，客户端通过名宇节点获取上述信息，然后和数据节点进行交互，读写文件数据。
　　另外，名字节点还能获取HDFS整体运行状态的一些信息，如系统的可用空间、己经使用的空间、各数据节点的当前状态等。

　　第二名字节点(Secondary NameNode, SNN)是用于定期合并命名空间镜像和镜像编辑日志的辅助守护进程。和名字节点一样，每个集群都有一个第二名字节点，在大规模部署的条件下，一般第二名字节点也独自占用一台服务器。

　　第二名字节点和名字节点的区别在于：

　　它不接收或记录HDFS的任何实时变化，而只是根据集群配置的时问间隔，不停地获取HDFS某一个时间点的命名空间镜像和镜像的编辑日志，合并得到一个新的命名空间镜像。该新镜像会上传到名字节点，替换原有的命名空间镜像，并清空上述日志。应该说，第二名字节点配合名字节点，为名字节点上的名字节点第一关系提供了一个简单的检查点(Checkpoint)机制，并避免出现编辑日志过大，导致名字节点启动时间过长的问题。
　　如前面所述，名字节点是 HDFS集群中的单一故障点，通过第二名字节点的检查点，可以减少停机的时间并减低名字节点元数据丢失的风险。但是，第二名字节点不支持名字节点的故障白动恢复，名字节点失效处理需要人工干预。

没有名称节点，文件系统将无法使用。事实上，如果运行名称节点的机器被毁坏了，文件系统上所有的文件都会丢失，因为我们无法知道如何通过数据节点上的块来重建文件。因此，名称节点能够经受故障是非常重要的，Hadoop提供了两种机制来确保这一点。

第一种机制就是复制那些组成文件系统元数据持久状态的文件。Hadoop可以通过配置使名称节点在多个文件系统上写入其持久化状态。这些写操作是具同步性和原子性的。一般的配置选择是，在本地磁盘上写入的同时，写入一个远程NFS挂载(mount)。

另一种可行的方法是运行一个二级名称节点，虽然它不能作为名称节点使用。这个二级名称节点的重要作用就是定期的通过编辑日志合并命名空间镜像，以防止编辑日志过大。这个二级名称节点一般在其他单独的物理计算机上运行，因为它也需要占用大量CPU和内存来执行合并操作。它会保存合并后的命名空间镜像的副本，在名称节点失效后就可以使用。但是，二级名称节点的状态是比主节点滞后的，所以主节点的数据若全部丢失，损失仍在所难免。在这种情况下，一般把存在NFS上的主名称节点元数据复制到二级名称节点上并将其作为新的主名称节点运行。