我怎样才能杀死卡住的工作而不杀死 Spark 中的应用程序？

Posted 2023-04-13

【中文标题】我怎样才能杀死卡住的工作而不杀死 Spark 中的应用程序？

【英文标题】：How can I just kill the stuck job but not kill the application in Spark?

【发布时间】：2021-05-13 03:38:03

【问题描述】：

如上，我只是想杀掉阶段1244，而不是杀掉应用程序。 如果我单击kill 按钮，是否会杀死整个应用程序？ 我该怎么做才能杀死我想要杀死的应用程序中的工作？

【参考方案1】：

您突出显示的终止按钮将终止当前作业。然而：

如果这是一个交互式 Spark 会话（即运行 Jupyter notebook 或 spark-shell 或 pyspark），那么应用程序将仍然存在。 如果这是一个非交互式 Spark 会话（即spark-submit），那么应用程序将与作业一起被终止，因为应用程序状态被视为失败。

【讨论】：

请帮帮我：***.com/questions/68078584/…，非常感谢！