如何使用 Azure 数据工厂管道创建容器？

Posted 2023-03-28

【中文标题】如何使用 Azure 数据工厂管道创建容器？

【英文标题】：How to create container using Azure data factory pipeline?

【发布时间】：2021-12-07 21:30:34

【问题描述】：

我需要在管道内执行存储过程并将其导出到 Azure 存储。

我可以实现，但 Azure 存储容器是在数据集中手动创建和设置的。

现在我想先在管道内创建 Azure 存储容器，然后再开始导出。

我应该在管道中使用什么活动？

【问题讨论】：

您能否分享您的完整设置或配置管道的片段。源，汇？准确建议的更多细节

我只是想知道如何使用 azure 数据工厂管道创建容器。我应该使用什么活动？

也许使用 Azure 函数？看到这个问题：***.com/questions/65190284/…

是的，我已经使用 Azure Function 实现了它。谢谢

很高兴您使用函数得到它，如果有帮助也请看我的回答，您可以Accept it as an Answer，以便遇到相同问题的其他人可以找到此解决方案并解决他们的问题跨度>

【参考方案1】：

方法一：

使用容器路径参数化接收器数据集以动态创建容器。

如果 SQL 源使用过程获取数据。

具有参数的存储接收器数据集

分配创建的参数，代替文件系统/容器字段。

为要动态创建的容器提供一个值。您可以选择提供您选择的值，可能来自管道中另一个活动的输出值。在这里，我使用系统变量 PipelineRunID，它对每次运行都有一个唯一的值，并且能够识别或跟踪存储中的特定结果。

或者创建一个管道参数，并使用它为数据集参数提供值。

运行成功后，可以看到storage中创建的容器。

方法二：

您可以使用 WebActivity 调用 REST API 在 blob 存储中创建容器。

这是一个示例配置：

1.配置URL，设置你的存储账户和容器名称为

https://<your-storage-account>.blob.core.windows.net/<container-name>?restype=container

2.应该是PUT方法

3. 设置操作版本。欲了解更多信息，请参阅Versioning for the Azure Storage Services

x-ms-version: 2020-10-02

4. Date：请求的UTC时间，可以使用Date函数动态设置。

5. 授权：指定您希望如何授权此请求，请参阅Authorize requests to Azure Storage.了解不同的选项。我使用了共享密钥。

6.您首选的身份验证模式。

请求成功后，除了状态码 201 和 headers 之外，您不会收到任何响应数据。