YarnYarn HA 高可用集群
Posted 九师兄
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了YarnYarn HA 高可用集群相关的知识，希望对你有一定的参考价值。
2023年初一，发个博客纪念一下
1.概述
背景
ResourceManager负责资源管理和应用的调度,是YARN的核心组件,集群的主角色。
在Hadoop 2. 4之前, ResourceManager是YARN群集中的SPOF ( Single Point of Failure ,单点故障)。
为了解决RM的单点故障问题, YARN设计了一套Active/Standby模式的ResourceManager HA架构。
架构
Hadoop官方推荐方案 :基于Zookeeper集群实现YARN HA。
-
实现HA集群的关键是:主备之间状态数据同步、主备之间顺利切换(故障转移机制)
-
针对数据同步问题 ,可以通过zk来存储共享集群的状态数据。因为zk本质也是一个小文件存储系统。
-
针对主备顺利切换,可以手动,也可以基于zk自动实现。
2. 故障转移机制
第一种:手动故障转移
管理员使用命令手动进行状态切换。
第二种:自动故障转移
以上是关于YarnYarn HA 高可用集群的主要内容，如果未能解决你的问题，请参考以下文章