获取数据流活动中接收器操作写入的输出文件的 blob URL - Azure Synapse Analytics

Posted

技术标签:

【中文标题】获取数据流活动中接收器操作写入的输出文件的 blob URL - Azure Synapse Analytics【英文标题】:Get the blob URL of output file written by sink operation in a Data Flow Activity - Azure Synapse Analytics 【发布时间】:2021-09-30 10:13:23 【问题描述】:

我有一个数据流,它从 Azure Data Lake 读取多个 CSV 文件并将它们作为单个文件写入 Azure Blob 存储。我需要获取写入 blob 的文件的 url。 此数据流是管道的一部分,我需要将 Blob url 作为管道的输出。有没有办法做到这一点?提前感谢您的帮助。

【问题讨论】:

【参考方案1】:

在作为源的数据流中创建一个新列名 文件名和路径利用“列存储文件名”字段下 源转换 --> 源选项。

Source Options settings

Data Preview

您还可以在数据流中使用一个参数来保存文件名或文件路径,并使用派生列转换将该参数值添加为新列。 请注意:您需要从数据流活动中为数据流参数提供值。

【讨论】:

以上是关于获取数据流活动中接收器操作写入的输出文件的 blob URL - Azure Synapse Analytics的主要内容,如果未能解决你的问题,请参考以下文章

流与文件

为啥将聚合数据帧写入文件接收器时出现异常?

数据的输入与输出

Powershell:从 Receive-Job 获取输出

八. 输入输出(IO)操作1.输入输出基本概念

Azure 数据工厂 - 删除活动时出错