管道从 Azure 数据工厂消失了?

Posted

技术标签:

【中文标题】管道从 Azure 数据工厂消失了?【英文标题】:Pipeline disappeared from Azure Data Factory? 【发布时间】:2020-10-26 16:53:27 【问题描述】:

我有一个来自 Azure 数据工厂的流式传输管道,它突然从 Azure 数据工厂页面的“监控”选项卡中消失。它在 Databricks 上运行了很长时间(可能超过 45 天没有中断)。

有一天,管道不再显示在 ADF Pipeline 运行的“监控”选项卡中,之前的运行也消失了,但从 Databricks 端设置的警报都没有启动。结果发现该作业仍在 Databricks 端运行,但相应的 ADF 管道详细信息以及同一流管道的旧运行都消失了。

这怎么可能?发生这种情况有什么原因吗?

【问题讨论】:

【参考方案1】:

如果它仍然运行,应该找到它的监视器。

也许你可以检查管道监视器的过滤器:

【讨论】:

不,它仍在运行,但看不到管道的当前/先前运行。尝试对管道名称进行过滤并延长过滤持续时间,但没有成功。

以上是关于管道从 Azure 数据工厂消失了?的主要内容,如果未能解决你的问题,请参考以下文章

将 Azure 数据工厂上的数据管道从 SQL Server 复制到 Blob 存储

使用 azure 数据工厂管道将 json 对象存储到 azure 表存储实体

通过 GitLab 部署 Azure 数据工厂管道

访问元数据会导致 Azure 数据工厂的嵌套管道

创建 Azure 数据工厂管道以将新记录从 DocumentDB 复制到 Azure SQL

将 Azure 数据工厂管道有条件地部署到另一个资源组