Zeppelin 坚持在 YARN 工作

Posted 2023-03-23

【中文标题】Zeppelin 坚持在 YARN 工作

【英文标题】：Zeppelin persists job in YARN

【发布时间】：2018-08-05 17:20:42

【问题描述】：

当我从 Zeppelin 运行 Spark 作业时，该作业成功完成，但它在 YARN 模式下仍处于运行状态。 问题是这项工作正在获取 YARN 中的资源。我认为 Zeppelin 坚持了 YARN 的工作。

我该如何解决这个问题？

谢谢

【参考方案1】：

有两种解决方案。

快速的方法是使用"restart interpreter" functionality，它的名称有误，因为它只会停止解释器。在本例中是 Yarn 中的 Spark 作业。

一个优雅的方法是将 Zeppelin 配置为将 dynamic allocation 与 Spark 一起使用。在这种情况下，Yarn 应用程序主控程序将继续运行，Spark 驱动程序也将继续运行，但所有执行程序（它们是真正的资源消耗者）都可以在不使用时被 Yarn 释放。

【参考方案2】：

最简单直接的解决方案是重新启动 spark 解释器。 但正如 Rick 提到的，如果您应该使用 spark 动态分配，则需要在所有代理节点上启用 spark shuffle 服务的额外步骤（默认情况下禁用）。

【参考方案3】：

只需关闭您的 spark 上下文，以便 spark 作业获得 FINISHED 状态。

你的记忆应该被释放。