Hadoop 挂起作业终止命令

Posted

技术标签:

【中文标题】Hadoop 挂起作业终止命令【英文标题】:Hadoop Hangs on Job Kill Command 【发布时间】:2014-05-31 03:05:27 【问题描述】:

我在 Hadoop 1.0.3 集群上运行 Hive 0.12,作业在映射阶段卡在 2.5%,许多任务显示“丢失任务跟踪器”错误。

当我尝试运行 hadoop job -kill job_id 命令时,该命令只是挂起并且作业没有被终止。

此外,运行任何其他 hadoop 作业命令也会挂起(例如 hadoop job -list)。 hadoop fs 命令似乎运行良好。

我检查了日志文件,除了丢失任务的通知之外,我没有发现任何异常。

目前集群卡在这个作业上,我需要运行其他 MapReduce 作业。如果 hadoop job -kill 命令不起作用,终止此作业的最佳方法是什么?

【问题讨论】:

【参考方案1】:

执行命令时没有错误信息?

要停止作业,您可以尝试重新启动 hive 或在 hadoop 上重新启动 mapreduce 服务。

【讨论】:

以上是关于Hadoop 挂起作业终止命令的主要内容,如果未能解决你的问题,请参考以下文章

脚本控制------------------------(作业控制查看作业jobs命令重新启动停止的作业)

哪里学Linux开发?作业怎么控制Jobs?

提交hadoop-streaming作业:yarn还是hadoop?

怎么在hadoop上部署mapreduce

管道符作业控制变量

linux进程的挂起和恢复