如果同时触发两次 Azure 数据工厂会发生啥?

Posted

技术标签:

【中文标题】如果同时触发两次 Azure 数据工厂会发生啥?【英文标题】:What happens if an Azure Data Factory is triggered twice at the same time?如果同时触发两次 Azure 数据工厂会发生什么? 【发布时间】:2021-09-06 05:19:38 【问题描述】:

在同一管道上,我有两个触发器:

1- 预定:一天 3 次

2- BlobEvent : 在 Blob Storage 上创建文件时

到目前为止,我没有任何问题,但我想知道如果两者同时触发,会发生什么?一个会被搁置直到第一个结束,或者它们会同时执行(这可能是个问题,如果是这样,你有什么建议来阻止它?)

提前致谢。

【问题讨论】:

【参考方案1】:

Azure 数据工厂 (ADF) 管道在管道级别有一个并发限制,可以帮助控制这一点。默认为空白(即最多 50 个),因此如果您想控制并发执行,请将其设置为 1。

但是,当前的行为是让后续管道运行排队,而不是完全停止它们,因此您可能需要在管道中构建一些逻辑来确定“我是否已经处理过这个文件?”例如Lookup activity 或者在管道中构建一些东西,例如在文件被成功处理后移动文件 - 这取决于你在做什么。

查看here 的行为并对此反馈项here 投票。

【讨论】:

以上是关于如果同时触发两次 Azure 数据工厂会发生啥?的主要内容,如果未能解决你的问题,请参考以下文章

如何基于 Azure 数据工厂中创建的 Blob 执行触发器?

每次触发警报时,连接到逻辑应用 Webhook 的 Azure 警报操作都会触发两次

如果我在同一个指针 (C) 上使用 malloc 两次会发生啥?

如果你在同一个集合上调用同一个迭代器两次会发生啥?

在 Azure Blob 容器中创建两个文件时,如何在 Azure 数据工厂中创建事件触发器?

Azure 数据工厂中的 *.servicebus.windows.net 用于啥?