hadoop2.4怎么在网页中查看Job的具体信息

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop2.4怎么在网页中查看Job的具体信息相关的知识,希望对你有一定的参考价值。

参考技术A yarn服务器查看:
http://Hadoop的host:8088
jobhistory查看地址:
http://Hadoop的host:19888
不过这些端口是默认的,如果你在配置文件里面改过,就得输入相应的端口号了
参考技术B Hadoop HDFS只有服务日志,与Hadoop MapReduce的服务日志类似; Hadoop MapReduce日志分为两部分,一部分是服务日志,一部分是作业日志,具体介绍如下: 1. Hadoop 1.x版本 Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker...

hadoop jar 与yarn jar具体的区别在哪

lz说的是命令的执行吧。
hadoop jar 按mr1或yarn运行job,决定是否配置yarn。
yarn jar 按yarn方式运行job,必须启动dfs
---
如果配置了yarn,则两种方式运行效果是一样的,即yarn执行,必须先启动dfs,无需启动yarn,因为会自启动后退出
dfs:start-dfs.sh
yarn:start-yarn.sh
参考技术A The /usr/bin/yarn script sets up the execution environment so that all of the yarn commands can be run. The /usr/bin/hadoop script isn't quite as concerned about yarn specific functionality. However, if you have your cluster set up to use yarn as the default implementation of mapreduce (MRv2), then hadoop jar will probably act the same as yarn jar for a mapreduce job.
Either way you're probably fine, but you can always check the resource manager (or job tracker) web interface to see how your job is distributed across the cluster (whether it's a single node cluster or not)
如果你设置yarn为mapreduce的默认资源调度平台,那么两个命令是一样的
参考技术B int year,month,day; while(1) printf("\n请选择你所需要的服务:\n"); printf("\n输入1求某个日期对应的星期"); printf("\n输入2结束程序\n"); scanf("%d",&option); switch(option)

以上是关于hadoop2.4怎么在网页中查看Job的具体信息的主要内容,如果未能解决你的问题,请参考以下文章

ORACLE的Job是不是有日志文件,如果有如何查看ORACLE 的Job的日志?

怎么打开网页的源代码?

SSH中怎么查job在哪个文件夹

如何获取hadoop mapreduce job运行信息

Oracle 查看 impdp 正在执行的内容

Python使用BeautifulSoup爬取网页信息