NameNode中的高可用方案

Posted maxigang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了NameNode中的高可用方案相关的知识,希望对你有一定的参考价值。

NN中元数据的可靠性是可以保证的,但是其可用性并不高,因为Namenode是单节点的,所以一旦这个节点不能工作,那么整个hdfs都不能工作,但是由于SecondaryNameNode的机制,所以,即便NameNode不能工作,元数据也不会丢失,人为介入之后是可以恢复的,不会导致数据丢失。因此可靠性高不代表可用性也高。因此NameNode的HA方案呼之欲出。

1-能否让两个NN都正常响应客户端请求?

应该让两个NN节点在某一个时间只能有一个响应客户端请求,响应请求的节点必须是Active那一个;

2-standby状态的节点必须能够快速无缝切换到active状态;

意味着两个NN节点必须时刻保持元数据一致;

 

Hadoop为NN提供的HA机制如下图所示:

技术分享图片

 

以上是关于NameNode中的高可用方案的主要内容,如果未能解决你的问题,请参考以下文章

Hdfs的HA高可用

hadoop+zookepper实现namenode的高可用

Redis的高可用实现方案:哨兵与集群

Redis的高可用实现方案:哨兵与集群

一文详解 Prometheus 的高可用方案:Thanos

架构设计:系统存储(17)——Redis集群方案:高可用