Azure 数据工厂-数据流-完成后-移动

Posted

技术标签:

【中文标题】Azure 数据工厂-数据流-完成后-移动【英文标题】:Azure Data Factory- Data Flow - After completion - move 【发布时间】:2021-04-29 03:34:24 【问题描述】:

我正在使用 ADF v2 DataFlow ativity 将数据从 Blob 存储中的 csv 文件加载到 Azure SQL 数据库中的表中。在数据流(源 - Blob 存储)中,在源选项中,有一个选项“完成后(无操作/删除源文件/移动)”。我希望利用移动选项将这些 csv 文件保存在一个容器中,将这些文件与今天的日期连接起来重命名。我如何构建这个逻辑?有人可以帮忙吗?

【问题讨论】:

嗨@Pranjal,您还有其他顾虑吗?请随时告诉我。如果我的回答对你有帮助,希望你能采纳。这对其他社区成员可能是有益的。谢谢。 【参考方案1】:

您可以对源文件进行参数化来实现这一点。请参考我的例子。

数据流参数设置:

Source Options中设置源文件和移动表达式:

用“名称+当前日期”重命名源的表达式:

concat(substring($filename, 1, length($filename)-4),toString(currentUTC(),'yyyy-MM-dd') )

我的完整文件名是“word.csv”,输出文件名是“word2020-01-26”,

HTH。

【讨论】:

以上是关于Azure 数据工厂-数据流-完成后-移动的主要内容,如果未能解决你的问题,请参考以下文章

在 Azure 数据工厂中成功完成数据流后,为啥没有将数据传输到我的接收器表?

Azure 数据工厂“等待验证”

使用 Azure 数据工厂将数据从 Google Big Query 移动到 Azure Data Lake Store

Azure 数据工厂 - 删除活动时出错

发布后如何将 Azure 数据工厂参数放入 ARM 模板参数文件 (ARMTemplateParametersForFactory.json)

为啥管道在 Azure 数据工厂中永远停留在排队状态?