使用参数在 Azure 数据工厂中导入架构

Posted

技术标签:

【中文标题】使用参数在 Azure 数据工厂中导入架构【英文标题】:Import Schemas in Azure Data Factory with Parameters 【发布时间】:2021-10-30 22:06:51 【问题描述】:

我正在尝试开发一个简单的 ADF 管道,当这样的文件上传到 Blob 存储帐户时,它将数据从分隔文件复制到 mysql 数据库。我使用参数来定义存储帐户的名称、容纳文件的容器和文件名(inputStorageAccount、inputContainer、inputFile)。存储帐户的名称是一个全局参数,另外两个是由触发器提供的。链接服务也已参数化。 但是,我想为此操作定义映射。所以,我试图通过提供这些参数的值来“导入模式”(我在存储帐户中存储了一个示例文件)。但是,我在尝试这样做时不断收到此错误,

我做错了什么?我怎样才能让它工作?

我还想知道,当我尝试在数据集级别使用“导入架构”时,为什么没有要求我为 inputContainer 参数提供值,

【问题讨论】:

【参考方案1】:

您必须在其中添加值 Add dynamic content [Alt+P] :

正如下面Snip中提到的,转到+符号,在那里你会找到一个窗口,需要填写参数名称、类型和值:

这里我们可以根据选项直接选择参数:

这是另一个可能有帮助的详细方案:使用 Azure DataFactory 参数化链接服务 | Docs,那么你可以重置架构。

【讨论】:

以上是关于使用参数在 Azure 数据工厂中导入架构的主要内容,如果未能解决你的问题,请参考以下文章

Azure 数据工厂附加大量与 csv 文件具有不同架构的文件

将具有不同架构(列)的多个文件 (.csv) 合并/合并为单个文件 .csv - Azure 数据工厂

在插件中导入架构后调用“分页”时出错

在 cassandra 中导入和导出模式

如何在 python 中导入 Azure BlobService?

Azure 数据工厂 - Azure SQL 托管服务不正确的输出列类型