Azure 数据工厂 - 为每个活动获取内部元数据

Posted 2023-03-25

【中文标题】Azure 数据工厂 - 为每个活动获取内部元数据

【英文标题】：Azure Data Factory - Get Metadata inside for each activity

【发布时间】：2020-12-13 09:27:10

【问题描述】：

文件夹结构： 生的

测试1 in.csv out.csv 测试2 in.csv out.csv 测试3 in.csv out.csv

这就是我想要做的 - 使用获取元数据活动来获取原始文件夹中的文件夹列表。然后使用 Foreach 遍历 get metadata 活动的子项，然后在 for each 循环中，使用另一个 get metadata 活动来获取每个文件夹（所有测试文件夹）的元数据。这应该在创建新的测试文件夹时起作用（将触发运行管道），每个文件夹都将具有相同的结构和内部相同的文件，但我需要获取元数据才能在未来为这些文件夹工作'还不存在。 我面临的问题是为 for 循环内的 Get Metadata 设置数据集，因为我无法将数据集设置为多个测试文件夹，其中一些文件夹尚不存在。我不想每次都更新数据集，因为我希望管道在创建新测试文件夹时使用触发器自动运行。 谢谢！

【问题讨论】：

你是问如何让数据集中的文件夹名动态化？

【参考方案1】：

请试试这个：

我的管道截图：

Get Metadata Activity里面的数据集：

如果您不确定文件夹(test1,test2,test3) 或 csv 文件(in.csv,out.csv) 是否存在， 您可以像这样在 Get Metadata Activity 中选择“存在”：

然后你可以在输出中使用这个值来确认它是否存在，这样你就可以做其他事情而不会出错。

希望对你有帮助。