在 zeppelin 中完成一个进程后,有啥方法可以运行单独的笔记本?
Posted
技术标签:
【中文标题】在 zeppelin 中完成一个进程后,有啥方法可以运行单独的笔记本?【英文标题】:Is there any way to run a separate notebook after one process is finished in zeppelin?在 zeppelin 中完成一个进程后,有什么方法可以运行单独的笔记本? 【发布时间】:2021-07-12 15:19:59 【问题描述】:假设以下是示例流程
Notebook1
df.count()
df.show()
Notebook2
df2.count()
df2.show()
我想在 Notebook1 完成后调用 zeppelin 上的 Notebook2。
【问题讨论】:
【参考方案1】:需要接入调度系统(如:azakaban),zeppelin不提供note依赖
【讨论】:
【参考方案2】:有两种方法
在notebook1最后一段的末尾,你可以调用 z.run("", "notebook2的paragraphid");
zeppelin 中有一个 rest 调用(https://zeppelin.apache.org/docs/0.8.1/usage/rest_api/notebook.html#get-the-status-of-a-single-paragraph),您可以通过它检查段落的状态,例如运行状态或已完成。一旦你得到 notebook1 的最后一段的完成状态,你就可以调用 notebook2 的段落。
更多参考:Can I programmatically check the status of a paragraph in Zeppelin?
【讨论】:
以上是关于在 zeppelin 中完成一个进程后,有啥方法可以运行单独的笔记本?的主要内容,如果未能解决你的问题,请参考以下文章
Zeppelin 错误:部署到 Kubernetes 集群后出现“解释器进程未运行”