如何查看crontab的日志记录

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何查看crontab的日志记录相关的知识,希望对你有一定的参考价值。

参考技术A 您好,很高兴为您解答。 1. linux 看 /var/log/cron这个文件就可以,可以用tail -f /var/log/cron观察 2. unix 在 /var/spool/cron/tmp文件中,有croutXXX001864的tmp文件,tail 这些文件就可以看到正在执行的任务了。 3. mail任务 在 /var/spoo

Spark On Yarn如何查看任务日志

参考技术A 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等,生产环境里的任务最好借助资源管理框架(如Yarn)运行。任务运行在yarn上,查询日志就可能不是很方便,尤其是任务进程异常退出之后。

yarn容器退出之后,默认是不保存日志的。所以需要开启JobHistoryServer,具体方法网上有很多教程。

运行中的Spark任务可以直接通过spark web ui查看:

对于已经结束的yarn应用,spark进程已经退出也无法提供webui服务。

根据 Flink On Yarn如何查看任务日志 ,我们已经知道了日志的url组成方式,这次同理,只要找到 容器名 和 node 就能访问日志了。
driver的url为: http://node5:19888/jobhistory/logs/node3:8041/container_1634207619484_0496_01_000001/container_1634207619484_0496_01_000001/root/stderr/?start=0
搜索driver的日志,找到容器名 container_1634207619484_0496_01_000002 和host node3

运行中的flink/spark的日志查看非常容易,因为它们本身都提供了web ui服务。但是当任务异常退出之后,flink/spark进程的结束导致无法提供web ui服务。我们利用job history server来保留和展示当时的日志。但是yarn的web只展示了flink job manager/spark driver的日志链接,我们需要自己拼接flink task manager/spark executor日志链接。

最后我有一个小疑问:文中介绍的URL组成是推测出来的,其中第三部分 /container_1634207619484_0505_01_000001/container_1634207619484_0505_01_000001 是两个同样的容器名,这是为什么?希望知道的小伙伴能留言解惑一下。

相关链接:
Flink On Yarn如何查看任务日志
Spark On Yarn如何查看任务日志

以上是关于如何查看crontab的日志记录的主要内容,如果未能解决你的问题,请参考以下文章

如何查看crontab的日志记录

如何查看crontab的日志记录

Ubuntu查看crontab运行日志

查看crontab执行记录

Linux定时器工具-crontab 各參数具体解释及怎样查看日志记录

详述Linux计划任务的 at和crontab的命令 以及如何查看crontab日志