Azure 数据块作业 - 笔记本快照

Posted

技术标签:

【中文标题】Azure 数据块作业 - 笔记本快照【英文标题】:Azure databricks job - notebook snapshot 【发布时间】:2021-01-14 22:26:34 【问题描述】:

我们每天都在 Azure Databricks 中运行计划的 Databricks 作业,并且它整天都能成功运行。但是今天(2020 年 9 月 29 日),这项工作在几秒钟内因内部错误而失败。错误信息如下:

获取笔记本快照时出错:HTTP 请求失败,状态为:HTTP/1.1 403 Forbidden

有没有其他人遇到过这个问题并且知道如何解决这个问题?

【问题讨论】:

【参考方案1】:

我们能够识别并解决问题。这些工作是在上周末离开组织的人的用户 ID 下设置的。由于他的 id 未激活,因此它无权运行该作业并且它失败了。将作业所有者更改为另一个用户ID后,它运行良好

【讨论】:

很高兴知道您的问题已解决。感谢您分享解决方案,这可能对阅读此主题的其他社区成员有所帮助。【参考方案2】:

这是由于 Azure Databricks 的服务中断(开始时间:2020 年 9 月 29 日 00:04 UTC,已解决:2020 年 9 月 29 日 04:56 UTC)。

以下是来自 Azure Databricks 状态页面的状态通知的详细信息:

受影响的基础设施组件之一:身份验证

我们正在调查影响用户登录的问题。

用户可能会观察到间歇性或持续性的登录失败。 用户可能会注意到作业/笔记本的延迟增加。

Azure Databricks 状态页概述了所有核心 Azure Databricks 服务。您可以通过查看状态页面轻松查看特定服务的状态。或者,您还可以订阅各个服务组件的状态更新,当您订阅的状态发生变化时,它会发送警报。

参考:Azure Databricks Status page

【讨论】:

如果对你有用,可以accept it as an answer吗?它可能会帮助更多有类似问题的人。

以上是关于Azure 数据块作业 - 笔记本快照的主要内容,如果未能解决你的问题,请参考以下文章

当 blob 更改时触发 Azure 数据块

如何获取 Azure Databricks 笔记本运行详细信息

如何使用 Python 或 Pyspark 或 scala 在数据块中获取笔记本的作业运行结果日志

Azure 数据块。从sql数据库读取数据的java错误

如何在 Azure 数据工厂的 Databricks 上运行 .Net spark 作业?

作业终止后如何将生成的文件从 Azure Databricks 导出到 Azure DevOps?