Azure 数据块作业 - 笔记本快照
Posted
技术标签:
【中文标题】Azure 数据块作业 - 笔记本快照【英文标题】:Azure databricks job - notebook snapshot 【发布时间】:2021-01-14 22:26:34 【问题描述】:我们每天都在 Azure Databricks 中运行计划的 Databricks 作业,并且它整天都能成功运行。但是今天(2020 年 9 月 29 日),这项工作在几秒钟内因内部错误而失败。错误信息如下:
获取笔记本快照时出错:HTTP 请求失败,状态为:HTTP/1.1 403 Forbidden
有没有其他人遇到过这个问题并且知道如何解决这个问题?
【问题讨论】:
【参考方案1】:我们能够识别并解决问题。这些工作是在上周末离开组织的人的用户 ID 下设置的。由于他的 id 未激活,因此它无权运行该作业并且它失败了。将作业所有者更改为另一个用户ID后,它运行良好
【讨论】:
很高兴知道您的问题已解决。感谢您分享解决方案,这可能对阅读此主题的其他社区成员有所帮助。【参考方案2】:这是由于 Azure Databricks 的服务中断(开始时间:2020 年 9 月 29 日 00:04 UTC,已解决:2020 年 9 月 29 日 04:56 UTC)。
以下是来自 Azure Databricks 状态页面的状态通知的详细信息:
受影响的基础设施组件之一:身份验证
我们正在调查影响用户登录的问题。
用户可能会观察到间歇性或持续性的登录失败。 用户可能会注意到作业/笔记本的延迟增加。Azure Databricks 状态页概述了所有核心 Azure Databricks 服务。您可以通过查看状态页面轻松查看特定服务的状态。或者,您还可以订阅各个服务组件的状态更新,当您订阅的状态发生变化时,它会发送警报。
参考:Azure Databricks Status page
【讨论】:
如果对你有用,可以accept it as an answer吗?它可能会帮助更多有类似问题的人。以上是关于Azure 数据块作业 - 笔记本快照的主要内容,如果未能解决你的问题,请参考以下文章
如何获取 Azure Databricks 笔记本运行详细信息
如何使用 Python 或 Pyspark 或 scala 在数据块中获取笔记本的作业运行结果日志