从笔记本运行数据块作业

Posted

技术标签:

【中文标题】从笔记本运行数据块作业【英文标题】:Run databricks job from notebook 【发布时间】:2022-01-22 03:38:27 【问题描述】:

我想知道是否可以使用代码从笔记本运行 Databricks 作业,以及如何操作

我有一个包含多个任务和许多贡献者的工作,我们创建了一个工作来执行这一切,现在我们想从笔记本运行该工作来测试新功能,而不是在工作中创建一个新任务,用于在循环中多次运行作业,例如:

for i in [1,2,3]:
    run job with parameter i

问候

【问题讨论】:

【参考方案1】:

您可以使用以下步骤:

注01:

dbutils.widgets.text("foo", "fooDefault", "fooEmptyLabel")
dbutils.widgets.text("foo2", "foo2Default", "foo2EmptyLabel")
result = dbutils.widgets.get("foo")+"-"+dbutils.widgets.get("foo2")
def display():
     print("Function Display: "+result)
dbutils.notebook.exit(result)

注02:

thislist = ["apple", "banana", "cherry"]
for x in thislist:
  dbutils.notebook.run("Note-01 path", 60, "foo": x,"foo2":'Azure')

【讨论】:

嗨,是的,我知道这是如何从笔记本运行其他笔记本,但我想做的是运行我已经在 DataBricks 中创建的作业并从笔记本运行它 @Joe 我正在研究同样的问题。你找到解决办法了吗?

以上是关于从笔记本运行数据块作业的主要内容,如果未能解决你的问题,请参考以下文章

Azure 数据块作业 - 笔记本快照

从数据块中的另一个笔记本返回数据帧

Databricks 笔记本在内存作业中崩溃

如何获取 Azure Databricks 笔记本运行详细信息

如何将一个数据块笔记本导入另一个?

AWS Glue 作业生命周期 - 笔记本到作业