yarn 常用命令小结

Posted 2023-05-02

参考技术A 1. yarn top 

    类似linux里的top命令，查看正在运行的程序资源使用情况

2， yarn queue -status root.users.xxxx 

查看指定queue使用情况

3,yarn application -list -appStates 【ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED】

yarn application -list -appTypes [SUBMITTED, ACCEPTED, RUNNING]

查看app状态

yarn application -movetoqueue application_1528080031923_0067 -queue root.users.xxx

移动app到对应的队列

yarn application -kill application_1528080031923_0067

kill掉app

yarn application -status application_1528080031923_0067

查看app状态

4，yarn applicationattempt -list application_1528080031923_0064

查看app尝试信息

5，yarn classpath --glob

打印类路径

6，yarn container -list appattempt_1528080031923_0068_000001

打印正在执行任务的容器信息

yarn container -status container_1528080031923_0068_01_000002

打印当前容器信息

7，yarn jar [mainClass] args...

提交任务到yarn

8，yarn logs -applicationId application_1528080031923_0064

查看app运行日志

9，yarn node -all -list

查看所有节点信息

10，yarn daemonlog -getlevel n0:8088 rg.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl

查看守护进程日志级别

11，yarn resourcemanager [-format-state-store]

RMStateStore的格式化. 如果过去的应用程序不再需要，则清理RMStateStore

Yarn常用命令

参考技术A Yarn状态的查询，除了可以在hadoop103:8088页面查看外，还可以通过命令操作。常见的命令操作如下所示：
需求：执行WordCount案例，并用Yarn命令查看任务运行情况。

（1）列出所有Application：

（2）根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）

（3）Kill掉Application：

1.5.2 yarn logs查看日志
（1）查询Application日志：yarn logs -applicationId <ApplicationId>

（2）查询Container日志：yarn logs -applicationId <ApplicationId> -containerId <ContainerId>

1.5.3 yarn applicationattempt查看尝试运行的任务
（1）列出所有Application尝试的列表：yarn applicationattempt -list <ApplicationId>

（2）打印ApplicationAttemp状态：yarn applicationattempt -status <ApplicationAttemptId>

1.5.4 yarn container查看容器
（1）列出所有Container：yarn container -list <ApplicationAttemptId>

1.5.5 yarn node查看节点状态
列出所有节点：yarn node -list -all

1.5.6 yarn rmadmin更新配置
加载队列配置：yarn rmadmin -refreshQueues

1.5.7 yarn queue查看队列
打印队列信息：yarn queue -status <QueueName>