yarn原理 (学习笔记)
Posted xjz729827161
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了yarn原理 (学习笔记)相关的知识，希望对你有一定的参考价值。
Yarn简介
YARN (Yet Another Resouce Negotiator) :另外一个资源管理器
为啥要搞这个玩意，其实是有原因的。 并不是开发者太闲了。
主要解决hadoop 1.0 中mapreduce的问题
1. 存在单点故障
2. JobTracker“大包大揽”导致任务过重（任务多时内存开销大，上限4000节点）
3. 容易出现内存溢出（分配资源只考虑MapReduce任务数，不考虑CPU、内存）
4. 资源划分不合理（强制划分为slot ，包括Map slot和Reduce slot）
mapreduce1.0到 yarn
yarn运行机制
资源管理器(resource manager): 管理集群上资源的使用
* 处理客户端请求
* 启动和监控application master
* 监控 Nodemanager
* 资源分配和调度
包含两大组件调度器(scheduler)和 应用程序管理器(applications manager)
调度器： 这个玩意应该是资源调度器
* FIFO 调度器 默认，先进先出的原则
* 容量调度器 计算能力调度器，选择占用最小、优先级高的先执行，依此类推
* 公平调度器 公平调度，所有的job具有相同的资源。
应用程序管理器：(applications manager)：
监控启动application master
节点管理器(node manager)： 启动和监控容器(container)
每个节点资源管理的代理，只处理抽象容器
* 容器生命周期管理
* 向resource manager汇报状态
* 处理来自resource manager的命令
* 处理来自application master的命令
容器(container)： 可以是一个unix进程，也可以是一个linux cgroup
application master： 任务调度 任务监控 (大管家) 向resourcemanager发心跳
* 为应用程序申请资源，并分配给内部任务(二次分配)
* 任务调度、监控与容错
应用程序是以作业的形式提交给hadoop系统的 然后被分解为map任务和reduce任务
与其他hadoop的统一部署
以上是关于yarn原理 (学习笔记)的主要内容，如果未能解决你的问题，请参考以下文章