hadoop2.4版本中yarn的web管理界面不能查看作业状态！！！求助

Posted 2023-04-27

这是启动过程，只打开了一个datanode，用jps测试进程都启动了，下面是启动的数据截点的hadoop进程

参考技术A no router to host...ssh方面的错误，如果你的集群安装的没有错误的话
ssh免登陆都可以的话（你的肯定是不行的）
请关闭你的集群节点的防火墙，并且正确安装ssh免登陆追问

我是故意只启动了一个datanode，因为装的虚拟机，内存不够用，运行job没有问题

job可以成功运行,就是job状态跟踪页面不能捕获，所有都是0



追答

从图中看出来  jps后，你的主节点上的进程完全没问题啊，该有的进程都有了，

但是你的集群状态里  根本没有可用的node啊

还有  你的管理节点是哪一个啊？192.168.1.135:8080/cluster 是这个地址吧？

追问

有节点了，但是点进去没有具体的任务进度状态

追答

向192.168.1.135 节点提交作业，在来一遍试一试，估计是你提交错了。。

追问

主节点Master:192.168.1.187（namenode、secondarynode和resourcemanager）都在上面

三个datanode分别为:192.168.1.135、192.168.1.220、192.168.1.248

现在进程都启动正常

我在主节点上执行的jar包程序

这是作业执行debug信息（发成文字放不下）截图了

请教下，为啥作业执行完成了但是看不到我提交的作业



本回答被提问者采纳 参考技术B 仍是倍受尊敬 参考技术C 那不是显示ssh 有问题么

Hadoop(三）YARN

Yet Another Resources Negotiator

从Hadoop2.0版本开始引入YARN，主要功能：

• 集群资源管理系统
• 负责集群的统一管理和调度
• 与客户端交互，处理客户端请求

 

一、基本架构

 

Master/Slave架构

资源管理和节点管理器组成

集群的机器启动nodemanager进程，一般与HDFS的datanode一一对应

resourcemanager负责机器资源的统一调度，一般不和nodemanager共同运行于一个节点，nodemanager负责节点资源的监控和管理，其所在节点上的资源情况和运行的任务的状态都会通过nodemanager向resourcemanager进行反馈，这种反馈是通过心跳的方式反馈，周期性汇报

resourcemanager负责接收客户端提交的作业请求，是一些计算任务，并不是上传文件，上传文件是上传到namenode

接收到这些任务后，会调度这些任务在集群中运行，在YARN中真正执行任务的是container，container是cpu和内存等计算资源抽象的容器，真实的任务是运行在container中的

resourcemanager调度一个任务的时候首先会和nodemanager进行通信，要求nodemanager启动一个container，container会根据运行的程序封装需要的内存、cpu和网络等资源

启动完container，针对程序还会启动applicationmaster，每个程序都有程序管理器，负责具体任务的资源申请、任务调度和监控。向resourcemanager申请资源，申请到后与nodemanager进行通信，要求nodemanager启动container执行具体任务

任务执行过程中不断与applicationmaster进行通信，汇报任务执行情况和状态、

客户端通过resourcemanager获得applicationmaster的连接信息，与applicatinomaster建立连接，不断与applicationmaster进行通信，获取任务最新的进度信息，直到任务结束，释放占用的资源，container关闭

一般两个resourcemanager，一个active一个standby

 

二、核心组件

1.ResourceManager

只有一个

功能：

• 处理客户端请求
• 启动/监控ApplicationMaster
• 监控NodeManager健康状态
• 资源分配和调度

2.NodeManager

在mastermanager之外启动NodeManager，一般与DataNode一一对应

功能：

• 单个节点上的资源监控和管理
• 定时向ResourceManager汇报本机的资源使用情况
• 处理来自ResourceManager的请求，为作业的执行分配Container
• 处理来自ApplicationMaster的请求，启动和停止Container

 

3.ApplicationMaster

每个应用程序只有一个，负责应用程序的管理，资源申请和任务调度

功能：

• 与ResourceManager协商为应用程序申请资源
• 与NodeManager通信启动/停止任务
• 监控任务运行状态和失败处理

 

4.Container

任务运行环境的抽象，只有在分配任务的时候才会抽象出一个container

功能：

• 任务运行资源（节点、内存、CPU）
• 任务启动命令
• 任务运行环境

 

三、YARN容错

ResourceManager

• 基于zookeeper实现高可用 启动多个ResourceManager

NodeManager

• NodeManager故障将导致运行在该节点的任务失败，任务失败后，ResourceManager将失败任务通知对应的ApplicationMaster
• ApplicationMaster决定如何处理失败的任务

ApplicationMaster

• ApplictationMaster失败后，由ResourceManager负责重启

 

四、运行流程

 

 

1.客户端向ResourceManager发送提交作业的请求，收到请求后向客户端返回作业ID

2.ResourceManager会找其中的一个nodemanager向它发送请求来分配container，nodemanager启动container，在container中启动一个ApplicatinMaster，ResourceManager会监控这个ApplicationMaster运行状态

ApplicationMaster启动后会计算其负责的作业需要多少个map，多少个reduce，运行这些任务需要多少cpu，多少内存

3.ApplicationMaster向ResourceManager注册，注册成功后开始申请作业运行需要的资源，当resourcemanager将资源分配给ApplicationMaster之后，ApplicationMaster接收到这些资源，信息当中包含这些资源是由哪些nodemanager提供的，

4.ApplicationMaster会和对应的NodeManager进行通信，给nodemanager分配container，要求nodemanager启动container并启动对应的任务

运行在container中的任务会向ApplicatinoMaster运行状态和进度

在运行过程当中，客户端通过ResourceManager获取到ApplicationMaster通信地址，客户端与ApplicationMaster进行通信，周期性的获取到作业运行的状态，因为作业在运行中会周期性向ApplicationMaster进行汇报状态和进度

任务都完成之后，作业就结束了AM会像RM注销，释放掉占用的资源