Azure 数据工厂-数据流-完成后-移动
Posted
技术标签:
【中文标题】Azure 数据工厂-数据流-完成后-移动【英文标题】:Azure Data Factory- Data Flow - After completion - move 【发布时间】:2021-04-29 03:34:24 【问题描述】:我正在使用 ADF v2 DataFlow ativity 将数据从 Blob 存储中的 csv 文件加载到 Azure SQL 数据库中的表中。在数据流(源 - Blob 存储)中,在源选项中,有一个选项“完成后(无操作/删除源文件/移动)”。我希望利用移动选项将这些 csv 文件保存在一个容器中,将这些文件与今天的日期连接起来重命名。我如何构建这个逻辑?有人可以帮忙吗?
【问题讨论】:
嗨@Pranjal,您还有其他顾虑吗?请随时告诉我。如果我的回答对你有帮助,希望你能采纳。这对其他社区成员可能是有益的。谢谢。 【参考方案1】:您可以对源文件进行参数化来实现这一点。请参考我的例子。
数据流参数设置:
在Source Options中设置源文件和移动表达式:
用“名称+当前日期”重命名源的表达式:
concat(substring($filename, 1, length($filename)-4),toString(currentUTC(),'yyyy-MM-dd') )
我的完整文件名是“word.csv”,输出文件名是“word2020-01-26”,
HTH。
【讨论】:
以上是关于Azure 数据工厂-数据流-完成后-移动的主要内容,如果未能解决你的问题,请参考以下文章
在 Azure 数据工厂中成功完成数据流后,为啥没有将数据传输到我的接收器表?
使用 Azure 数据工厂将数据从 Google Big Query 移动到 Azure Data Lake Store
发布后如何将 Azure 数据工厂参数放入 ARM 模板参数文件 (ARMTemplateParametersForFactory.json)