在 zeppelin 中完成一个进程后,有啥方法可以运行单独的笔记本?

Posted

技术标签:

【中文标题】在 zeppelin 中完成一个进程后,有啥方法可以运行单独的笔记本?【英文标题】:Is there any way to run a separate notebook after one process is finished in zeppelin?在 zeppelin 中完成一个进程后,有什么方法可以运行单独的笔记本? 【发布时间】:2021-07-12 15:19:59 【问题描述】:

假设以下是示例流程

Notebook1

df.count()
df.show()
Notebook2

df2.count()
df2.show()

我想在 Notebook1 完成后调用 zeppelin 上的 Notebook2。

【问题讨论】:

【参考方案1】:

需要接入调度系统(如:azakaban),zeppelin不提供note依赖

【讨论】:

【参考方案2】:

有两种方法

    在notebook1最后一段的末尾,你可以调用 z.run("", "notebook2的paragraphid");

    zeppelin 中有一个 rest 调用(https://zeppelin.apache.org/docs/0.8.1/usage/rest_api/notebook.html#get-the-status-of-a-single-paragraph),您可以通过它检查段落的状态,例如运行状态或已完成。一旦你得到 notebook1 的最后一段的完成状态,你就可以调用 notebook2 的段落。

更多参考:Can I programmatically check the status of a paragraph in Zeppelin?

【讨论】:

以上是关于在 zeppelin 中完成一个进程后,有啥方法可以运行单独的笔记本?的主要内容,如果未能解决你的问题,请参考以下文章

Apache zeppelin 进程死亡

Zeppelin 错误:部署到 Kubernetes 集群后出现“解释器进程未运行”

Zeppelin:如何在 zeppelin 中重新启动 sparkContext

有啥方法可以使用 IOCP 来通知套接字何时可读/可写?

apache zeppelin入门

Zeppelin 坚持在 YARN 工作