无法将查找活动输出映射到 ADF 中的复制活动映射

Posted

技术标签:

【中文标题】无法将查找活动输出映射到 ADF 中的复制活动映射【英文标题】:Unable to map lookup activity output to Copy Activity Mapping in ADF 【发布时间】:2020-06-18 17:47:41 【问题描述】:

我是 ADF 的新手。

当我尝试使用复制活动将数据从 API 调用输出移动到 Blob Json 时,我无法使用查找输出。我正在尝试使用@item().SiteID 在映射中明确映射字段。但是 JSON 输出只返回输入字段(而不是派生字段)。有人可以帮我告诉我如何实现这一目标吗?

我可以使用 For Each 活动 (@activity('LookupAvailableChannelListForExport').output.value) 中的 Copy 活动来传递 Lookup 输出值 (@item().siteID)in source 和 sink 之间的映射吗?

【问题讨论】:

【参考方案1】:

据我所知,查找活动的输出不能是复制活动中的源数据,即使是源和接收器之间的映射。实际上,根据official document,查找活动更喜欢以下用法:

动态确定在后续操作中对哪些对象进行操作 活动,而不是硬编码对象名称。一些对象示例 是文件和表格。

我认为上面链接中的example 是一个很好的解释。您可以看到查找活动的输出配置为动态 sql db 源数据集表名。而不是源中的数据。

然后回到您的要求,如果文件存储在具有相同架构的同一目录中,我认为您可以将源数据集配置为根文件夹。并保持这个选项被选中,以便抓取所有文件中的所有数据。

如果你想实现一些源数据的变体,复制活动不能覆盖它,但data flow activity可以。你可以使用Derived column。比如resetting the Json structure。

【讨论】:

以上是关于无法将查找活动输出映射到 ADF 中的复制活动映射的主要内容,如果未能解决你的问题,请参考以下文章

如何在 adf 中按顺序进行复制活动?

Azure数据工厂映射数据流到CSV接收器的结果为零字节文件

具有附加列的 ADF 复制活动不起作用

如何使用 Azure 数据工厂中的每个活动合并文件

Azure ADF 中具有动态源的增量复制 cdc 记录

ADF 映射数据流失败并出现 BatchUpdateException