一文带你了解大数据技术之Hadoop（Yarn）

Posted ZSYL

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一文带你了解大数据技术之Hadoop（Yarn）相关的知识，希望对你有一定的参考价值。

Yarn 资源调度器

思考：

  • 1）如何管理集群资源？
  • 2）如何给任务合理分配资源？


Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

1. Yarn 基础架构

YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。

2. Yarn 工作机制


（1）MR 程序提交到客户端所在的节点。

（2）YarnRunner 向 ResourceManager 申请一个 Application。

（3）RM 将该应用程序的资源路径返回给 YarnRunner。

（4）该程序将运行所需资源提交到 HDFS 上。

（5）程序资源提交完毕后，申请运行 mrAppMaster。

（6）RM 将用户的请求初始化成一个 Task。

（7）其中一个 NodeManager 领取到 Task 任务。

（8）该 NodeManager 创建容器 Container，并产生 MRAppmaster。

（9）Container 从 HDFS 上拷贝资源到本地。

（10）MRAppmaster 向 RM 申请运行 MapTask 资源。

（11）RM 将运行 MapTask 任务分配给另外两个 NodeManager，另两个 NodeManager 分别领取任务并创建容器。

（12）MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager分别启动 MapTask，MapTask 对数据分区排序。

（13）MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器，运行 ReduceTask。

（14）ReduceTask 向 MapTask 获取相应分区的数据。

（15）程序运行完毕后，MR 会向 RM 申请注销自己。

3. 作业提交全过程

HDFS、YARN、MapReduce三者关系

作业提交过程之YARN

作业提交过程之HDFS & MapReduce


作业提交全过程详解

（1）作业提交

  • 第 1 步：Client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。
  • 第 2 步：Client 向 RM 申请一个作业 id。
  • 第 3 步：RM 给 Client 返回该 job 资源的提交路径和作业 id。
  • 第 4 步：Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。
  • 第 5 步：Client 提交完资源后，向 RM 申请运行 MrAppMaster。

（2）作业初始化

  • 第 6 步：当 RM 收到 Client 的请求后，将该 job 添加到容量调度器中。
  • 第 7 步：某一个空闲的 NM 领取到该 Job。
  • 第 8 步：该 NM 创建 Container，并产生 MRAppmaster。
  • 第 9 步：下载 Client 提交的资源到本地。

（3）任务分配

  • 第 10 步：MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。
  • 第 11 步：RM 将运行 MapTask 任务分配给另外两个 NodeManager，另两个 NodeManager分别领取任务并创建容器。

（4）任务运行

  • 第 12 步：MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个NodeManager 分别启动 MapTask，MapTask 对数据分区排序。
  • 第13步：MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
  • 第 14 步：ReduceTask 向 MapTask 获取相应分区的数据。
  • 第 15 步：程序运行完毕后，MR 会向 RM 申请注销自己。

（5）进度和状态更新

YARN 中的任务将其进度和状态(包括 counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval 设置)向应用管理器请求进度更新, 展示给用户。

（6）作业完成

除了向应用管理器请求作业进度外, 客户端每 5 秒都会通过调用 waitForCompletion()来检查作业是否完成。

时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。

作业完成之后, 应用管理器和 Container 会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

4. Yarn 调度器和调度算法

目前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。

Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。

CDH 框架默认调度器是 Fair Scheduler。

具体设置详见：yarn-default.xml 文件

<property>
 	<description>The class to use as the resource scheduler.</description>
 	<name>yarn.resourcemanager.scheduler.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

4.1 先进先出调度器（FIFO）

FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

  • 优点：简单易懂；
  • 缺点：不支持多队列，生产环境很少使用；

4.2 容量调度器（Capacity Scheduler）

Capacity Scheduler 是 Yahoo 开发的多用户调度器。

容量调度器特点


4.3 公平调度器（Fair Scheduler）

Fair Schedulere 是 Facebook 开发的多用户调度器。


公平调度器——缺额


公平调度器队列资源分配方式


公平调度器资源分配算法



5. Yarn 常用命令

Yarn 状态的查询，除了可以在 hadoop103:8088 页面查看外，还可以通过命令操作。

常见的命令操作如下所示：

需求：执行 WordCount 案例，并用 Yarn 命令查看任务运行情况。

[zs@hadoop102 hadoop-3.1.3]$ myhadoop.sh start
[zs@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

5.1 yarn application 查看任务

（1）列出所有 Application：
yarn application -list

[zs@hadoop102 hadoop-3.1.3]$ yarn application -list
2021-02-06 10:21:19,238 INFO client.RMProxy: Connecting to ResourceManager 
at hadoop103/192.168.10.103:8032Total number of applications (application-types: [], states: [SUBMITTED, 
ACCEPTED, RUNNING] and tags: []):0 Application-Id Application-Name Application-Type 
User Queue State Final-State Progress Tracking-URL

（2）根据 Application 状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）

[zs@hadoop102 hadoop-3.1.3]$ yarn application -list -appStates FINISHED
2021-02-06 10:22:20,029 INFO client.RMProxy: Connecting to ResourceManager 
at hadoop103/192.168.10.103:8032
Total number of applications (application-types: [], states: [FINISHED] 
and tags: []):1
 Application-Id Application-Name Application-Type 
User Queue State Final-State Progress
 Tracking-URL
application_1612577921195_0001 word count MAPREDUCE

（3）Kill 掉 Application：

[zs@hadoop102 hadoop-3.1.3]$ yarn application -kill application_1612577921195_0001
2021-02-06 10:23:48,530 INFO client.RMProxy: Connecting to ResourceManager 
at hadoop103/192.168.10.103:8032
Application application_1612577921195_0001 has already finished

5.2 yarn logs 查看日志

（1）查询 Application 日志：yarn logs -applicationId <ApplicationId>

（2）查询 Container 日志：yarn logs -applicationId <ApplicationId> -containerId <ContainerId>

5.3 yarn applicationattempt 查看尝试运行的任务

（1）列出所有 Application 尝试的列表：yarn applicationattempt -list <ApplicationId>

（2）打印 ApplicationAttemp 状态：yarn applicationattempt -status <ApplicationAttemptId>

5.4 yarn container 查看容器

（1）列出所有 Container：yarn container -list <ApplicationAttemptId>

（2）打印 Container 状态：yarn container -status <ContainerId>

注：只有在任务跑的途中才能看到 container 的状态

5.5 yarn node 查看节点状态

列出所有节点：yarn node -list -all

5.6 yarn rmadmin 更新配置

加载队列配置：yarn rmadmin -refreshQueues

5.7 yarn queue 查看队列

打印队列信息：yarn queue -status <QueueName>

6. Yarn 生产环境核心参数

加油!

感谢!

努力!

以上是关于一文带你了解大数据技术之Hadoop（Yarn）的主要内容，如果未能解决你的问题，请参考以下文章

一文带你了解大数据技术之MapReduce

一文带你了解大数据技术之HDFS

一文带你了解大数据技术之Zookeeper（入门级）

一文读懂大数据两大核心技术

带你了解大数据入门(四) - 分布式资源调度——YARN框架

一文带你了解 Apache Hive2.x 的四大特性