如果同时触发两次 Azure 数据工厂会发生啥?
Posted
技术标签:
【中文标题】如果同时触发两次 Azure 数据工厂会发生啥?【英文标题】:What happens if an Azure Data Factory is triggered twice at the same time?如果同时触发两次 Azure 数据工厂会发生什么? 【发布时间】:2021-09-06 05:19:38 【问题描述】:在同一管道上,我有两个触发器:
1- 预定:一天 3 次
2- BlobEvent : 在 Blob Storage 上创建文件时
到目前为止,我没有任何问题,但我想知道如果两者同时触发,会发生什么?一个会被搁置直到第一个结束,或者它们会同时执行(这可能是个问题,如果是这样,你有什么建议来阻止它?)
提前致谢。
【问题讨论】:
【参考方案1】:Azure 数据工厂 (ADF) 管道在管道级别有一个并发限制,可以帮助控制这一点。默认为空白(即最多 50 个),因此如果您想控制并发执行,请将其设置为 1。
但是,当前的行为是让后续管道运行排队,而不是完全停止它们,因此您可能需要在管道中构建一些逻辑来确定“我是否已经处理过这个文件?”例如Lookup activity 或者在管道中构建一些东西,例如在文件被成功处理后移动文件 - 这取决于你在做什么。
查看here 的行为并对此反馈项here 投票。
【讨论】:
以上是关于如果同时触发两次 Azure 数据工厂会发生啥?的主要内容,如果未能解决你的问题,请参考以下文章
如何基于 Azure 数据工厂中创建的 Blob 执行触发器?
每次触发警报时,连接到逻辑应用 Webhook 的 Azure 警报操作都会触发两次
如果我在同一个指针 (C) 上使用 malloc 两次会发生啥?