从笔记本运行数据块作业
Posted
技术标签:
【中文标题】从笔记本运行数据块作业【英文标题】:Run databricks job from notebook 【发布时间】:2022-01-22 03:38:27 【问题描述】:我想知道是否可以使用代码从笔记本运行 Databricks 作业,以及如何操作
我有一个包含多个任务和许多贡献者的工作,我们创建了一个工作来执行这一切,现在我们想从笔记本运行该工作来测试新功能,而不是在工作中创建一个新任务,用于在循环中多次运行作业,例如:
for i in [1,2,3]:
run job with parameter i
问候
【问题讨论】:
【参考方案1】:您可以使用以下步骤:
注01:
dbutils.widgets.text("foo", "fooDefault", "fooEmptyLabel")
dbutils.widgets.text("foo2", "foo2Default", "foo2EmptyLabel")
result = dbutils.widgets.get("foo")+"-"+dbutils.widgets.get("foo2")
def display():
print("Function Display: "+result)
dbutils.notebook.exit(result)
注02:
thislist = ["apple", "banana", "cherry"]
for x in thislist:
dbutils.notebook.run("Note-01 path", 60, "foo": x,"foo2":'Azure')
【讨论】:
嗨,是的,我知道这是如何从笔记本运行其他笔记本,但我想做的是运行我已经在 DataBricks 中创建的作业并从笔记本运行它 @Joe 我正在研究同样的问题。你找到解决办法了吗?以上是关于从笔记本运行数据块作业的主要内容,如果未能解决你的问题,请参考以下文章