HDFS的HA设计
Posted 大数据面试学习指北
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HDFS的HA设计相关的知识，希望对你有一定的参考价值。
NameNode存在单点失效的问题。如果NameNode失效了，那么所有的客户端——包括MapReduce作业均无法读、写文件，因为NameNode是唯一存储元数据与文件到数据块映射的地方。
HDFS高可用是配置了一对活动-备用（active-standby）NameNode。当活动NameNode（active NameNode）失效，备用NameNode（standby NameNode）就会接管它的任务并开始服务于来自客户端的请求，不会有任何明显的中断。
在这样的情况下，要想从一个失效的NameNode中恢复，只需要“激活” standby NameNode，并配置DataNode和客户端以便使用这个新的NameNode。新的NameNode直到满足以下情形后才能响应服务：
将命名空间（目录结构）的映像导入内存中。·
重做编辑日志。·
接收到足够多的来自DataNode的数据块报告并退出安全模式。对于一个大型并拥有大量文件和数据块的集群，NameNode的冷启动需要30分钟甚至更长时间。·
系统恢复时间太长，也会影响到日常维护。
在启用HA的场合，Secondary NameNode会被standby NameNode所替代。
以上是关于HDFS的HA设计的主要内容，如果未能解决你的问题，请参考以下文章