Yarn模式下的监控界面介绍

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Yarn模式下的监控界面介绍相关的知识，希望对你有一定的参考价值。

Yarn模式概述

Spark客户端可以直接连接Yarn，不需要额外构建Spark集群。

有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点不同。

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到APP的输出。

yarn-cluster：Driver程序运行在RM（ResourceManager）启动的AM（AplicationMaster）上，适用于生产环境。

Yarn是一个资源调度平台，负责为运算程序提供服务器计算资源，方便我们编写的Spark、flink、MapReduce这些应用在它上面运行。

资源的具体分配和调度不需要人们手动去操作，这种情况下，我们怎么能看到Yarn机器有多少资源呢？内存、CPU等。还有我们提交到Yarn的这些应用，他们的运行状态是什么，占用率多少资源，哪个节点在计算，执行时间等等，都是我们需要关注的问题。

修改Hadoop配置文件，进行访问，下面就是Yarn的界面。

about the cluster界面可以看到Yarn的ResourceManager的状态、是否是HA、以及版本的信息。

上面编号为1区域的是整个集群的监控信息：

Apps Submitted：已提交的应用。

Apps Completed：已经完成的应用。

Apps Running：正在运行的应用。

Containers Running：正在运行的应用。

在yarn运行任务之前，会先创建一个容器。

Memory Total：集群的总内存。

Memory Used：集群已使用的内存。

VCores Used：已经使用CPU的核数。

VCores Total：集群的CPU总的核数。

Memory Reserved：预留的内存。

VCores Reserved：预留的CPU的核数。

yarn为了防止分配一个容器到NodeManager的时候，NodeManager当前不能满足。

集群节点信息

应用列表信息

上图编号为3的是yarn任务执行的具体情况。

将上面的页面分为8块，每一块的介绍如下：

可以根据任务的不同状态去筛选，点击后，可以再点击ID进去查看日志。
任务的ID。
任务的名字，这里的名称是提交spark任务的主类名。hive on spark，使用hive的脚本跑的，执行引擎是spark。MapReduce任务，是用来sqoop进行数据抽取，底层是MapReduce。Flink session cluster，是Flink任务。
应用的类型，常见的类型有spark、MapReduce、Flink。这些队列有默认的，也有自己在提交时通过--queue进行队列指定。如果没指定，会以提交任务时使用的那个账户进行提交。
任务的时间和结束的时间。
当前任务的状态和最终的状态。
任务占用的相关资源情况。