如何在 Azure 数据工厂内拥有不同数量客户的不同环境中使用相同的管道？

Posted 2023-02-19

【中文标题】如何在 Azure 数据工厂内拥有不同数量客户的不同环境中使用相同的管道？

【英文标题】：How to use the same pipeline in different environments with varying number of customers inside Azure Data Factory?

【发布时间】：2020-12-16 14:59:59

【问题描述】：

我在 Azure 数据工厂中有一个复制数据管道。我需要使用 Release Pipeline 在 DEV、QA、PROD 等多个环境中部署相同的数据工厂实例。

管道将数据从客户存储帐户（Blob 容器）传输到集中式数据湖。所以，我们可以说——它是一个多对一的流程。 （许多客户 > 一个数据湖）

现在，假设我在 DEV 环境中，并且那里有 1 个演示客户。我为复制数据定义了一个 ADF 管道。但在生产环境中，客户数量会增长。因此，我不想在生产数据工厂中创建同一管道的多个副本。

我正在寻找一种解决方案，以便我可以在数据工厂中保留一个副本管道，并将同一个数据工厂从一个环境部署/提升到另一个环境。即使客户数量各不相同，这也应该有效。

我还在 Azure 数据工厂中使用 Git 与 Azure Repos 的集成进行 CI/CD。

【参考方案1】：

您必须创建在非生产环境中不存在的其他链接服务和数据集，以确保将任何新的“客户”存储帐户映射到管道实例。

使用 CI/CD 例程，您可以以增量方式提供此功能，即使用变量组参数化您发布的管道，并使用带有新数据集/链接服务的更新管道更新数据工厂实例。

【讨论】：

幻灯片编号。 48 在这里...我正是在寻找 - slideshare.net/CathrineWilhelmsen/…