Azure 数据工厂 - 删除活动时出错
Posted
技术标签:
【中文标题】Azure 数据工厂 - 删除活动时出错【英文标题】:Azure Data Factory - Error on Delete Activity 【发布时间】:2020-05-18 00:18:03 【问题描述】:我正在创建一个用于学习目的的测试 Azure 数据工厂管道。
对于这个特定的管道,我想将文件从一个 blob 移动到另一个。在 ADF 世界中,这涉及创建具有以下活动的管道:
-
获取元数据:从 Blob 1 检索文件列表
过滤:从之前活动的输出中,过滤掉文件夹,并输出文件列表
移动文件:从以前的活动中获取输出,将文件从 Blob 1 移动到 Blob 2
ADF没有实现Move File活动,所以上面的活动2.实际上是由两个子活动组成的ForEach活动:
2.1 复制文件:将文件从 Blob 1 复制到 Blob 2 2.2 删除文件:从 Blob 1 中删除文件
在调试此管道时,我收到活动 2.2 的以下错误:
无法使用数据源“AzureBlobStorage”执行删除活动 和错误“缺少所需的 Blob。文件夹路径: sensor-sink-aws/test - Copy.json/.'
但文件存在于容器中:
在我的 DeleteFile 活动中,我有以下 Source 数据:
这基本上引用了我为此管道创建的源数据集 - 它是一个可重复使用的数据集,这意味着我能够以动态方式传递容器名称和文件名。
知道可能出了什么问题吗?
【问题讨论】:
【参考方案1】:从错误中的路径看来,blob 的路径不正确“sensor-sink-aws/test - Copy.json/.'”
文件名应该在最后,但你可以看到它是“/.”。 .我认为您应该检查删除活动->源->数据集->打开->连接->应该类似于下面的屏幕截图(请注意文件名在末尾,我猜您已将其放入中间的文本框)
【讨论】:
以上是关于Azure 数据工厂 - 删除活动时出错的主要内容,如果未能解决你的问题,请参考以下文章
将数据从 ADLS Gen2 加载到 Azure Synapse 时出错
Azure 数据工厂 v2 - Web 活动 - 向 HTTPS 自签名证书发布请求