当资源不足时，火花作业将等待来自纱线的资源多长时间？

Posted 2023-04-18

【中文标题】当资源不足时，火花作业将等待来自纱线的资源多长时间？

【英文标题】：How long will a spark job wait for resource from yarn when lack of resources?

【发布时间】：2019-04-24 08:09:50

【问题描述】：

当 Spark 作业无法获得足够的资源来启动时，它会挂在那里等待。

要等多久？如何控制悬挂火花作业的超时？

谢谢

【问题讨论】：

这是您要找的东西吗？ ***.com/questions/40740750/…

【参考方案1】：

在 YARN 下，作业可以无限期挂起以等待资源。但是，由于大型任务通常会分解为较小的任务，除非最小的任务超过最大容器限制，否则它们通常不会被阻止。