Yarn架构原理
Posted NC_NE
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Yarn架构原理相关的知识，希望对你有一定的参考价值。
一、基础架构
YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。
1）ResourceManager（RM）
（1）处理客户端请求
（2）监控NodeManager
（3）启动或监控ApplicatitionMaster
（4）资源的分配和调度
2）NodeManager (NM)
（1） 管理单节点上的资源
（2）处理来自ResourceManager的命令
（3）处理来自ApplicationMaster
3) ApplicationMaster (AM)
（1）为当前应用申请资源并分配给内部任务
（2）监控当前任务和容错
4) Container
是Yarn的资源抽象，它封装了当前任务运行的资源（如内存，CPU，磁盘，网络）
二、Yarn 工作机制
（1）MR 程序提交到客户端所在的节点。
（2）YarnRunner 向 ResourceManager 申请一个 Application。
（3）RM 将该应用程序的资源路径返回给 YarnRunner。
（4）该程序将运行所需资源提交到 HDFS 上。
（5）程序资源提交完毕后，申请运行 mrAppMaster。
（6）RM 将用户的请求初始化成一个 Task。
（7）其中一个 NodeManager 领取到 Task 任务。
（8）该 NodeManager 创建容器 Container，并产生 MRAppmaster。
（9）MRAppmaster从 HDFS 上拷贝资源到本地。
（10）MRAppmaster 向 RM 申请运行 MapTask 资源。
（11）RM 将运行 MapTask 任务分配给另外两个 NodeManager，另两个 NodeManager 分别领取任务并创建容器。
（12）MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager分别启动 MapTask，MapTask 对数据分区排序。
（13）MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器，运行 ReduceTask。
（14）ReduceTask 向 MapTask 获取相应分区的数据。
（15）程序运行完毕后，MRAppmaster会向 RM 申请注销自己。
三、HDFS、YARN、MapReduce三者关系
四、Yarn 调度器和调度算法
Yarn作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）
4.1 先进先出调度器（FIFO）
FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。
优点：简单易懂；
缺点：不支持多队列，生产环境很少使用；
4.2 容量调度器（Capacity Scheduler）
1）、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2）、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限(这个很有用，防止提交的应用消耗全部资源)
3）、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4）、多租户：
（1）支持多用户共享集群和多应用程序同时运行。
（2）为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
5）、资源分配算法
（1）队列资源分配：从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。
（2）作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源。
（3）容器资源分配：按照容器的优先级分配资源，如果优先级相同，按照数据本地性原则
本地性原则：
（1）任务和数据在同一节点
（2）任务和数据在同一机架
（3）任务和数据不在同一节点也不在同一机架
4.3 公平调度器（Fair Scheduler）
1）多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2）容量保证：管理员可为每个队列设置资源最低保证和资源使用上线
3）灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4）多租户：
（1）支持多用户共享集群和多应用程序同时运行。
（2）为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
5）、资源分配算法（Fair策略）
Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。
五、Yarn 常用命令
1、查看全部任务
yarn application -list2、可以更具参数 -appStates 来过滤不同状态的应用，如：查询完成状态的应用
yarn application -list -appStates FINISHED3、杀掉某个正在运行的应用，执行需要权限
yarn application -kill application_1612577921195_00014、查看应用日志和容器日志
yarn logs -applicationId application_1612577921195_0001
yarn logs -containerId container_1612577921195_0001_01_0000015、查看NodeManager节点状态
yarn node -list -all6、查看队列
yarn queue -status default(队列名称)以上是关于Yarn架构原理的主要内容，如果未能解决你的问题，请参考以下文章