Azure - 复制多个 blob 的触发器

Posted

技术标签:

【中文标题】Azure - 复制多个 blob 的触发器【英文标题】:Azure - Trigger which copies multible blobs 【发布时间】:2018-08-20 07:59:59 【问题描述】:

我目前正在开发一个 ServiceBus 触发器(使用 C#),它将相关的 blob 复制并移动到另一个 blob 存储和 Azure Data Lake。复制后,该函数必须发出通知以触发进一步的处理任务。因此,我需要知道复制/移动任务何时完成。 我的第一种方法是使用复制所有这些文件的 Azure 函数。但是,Azure Functions 的处理时间限制为 10 分钟(手动设置时),因此它似乎不是正确的解决方案。我正在考虑调用 azCopy 或 StartCopyAsync() 来执行异步复制,但据我了解,该函数的处理时间将与 azCopy 一样长。为了解决时间限制问题,我可以改用 WebJobs,但还有其他技术,如 Logic Apps、Durable Azure Functions、Batch 作业等,这让我对选择合适的技术来解决这个问题感到困惑。该函数不会每秒调用一次,但可能会复制大量数据。有人有想法吗?

【问题讨论】:

【参考方案1】:

我刚刚发现 Azure Functions 在使用消费计划时只有时间限制。如果复制 blob 任务没有更好的解决方案,我会选择 Azure Functions。

【讨论】:

以上是关于Azure - 复制多个 blob 的触发器的主要内容,如果未能解决你的问题,请参考以下文章

Azure ADF 管道复制数据日志文件未触发第二个管道的“已创建 Blob”触发器

如何基于 Azure 数据工厂中创建的 Blob 执行触发器?

将多个 Blob 输入传递给 QueueTrigger Azure 函数的最佳方式

Azure Functions:我可以对 BlobTriggered 函数进行不同的配置吗?

Azure Functions - Python(Blob 触发器和绑定)

Azure 函数:使用 Http 触发器而不是 Blob 触发器来实现更有弹性的操作