Azure 数据工厂数据流任务不能以 prem 为源

Posted

技术标签:

【中文标题】Azure 数据工厂数据流任务不能以 prem 为源【英文标题】:Azure data factory data flow task cannot take on prem as source 【发布时间】:2019-10-31 14:15:51 【问题描述】:

嘿, 我在创建使用本地源的数据流任务时遇到问题。这在预览版中是不可能的吗?

我创建了一个自托管 IR 来将 ADF 连接到我的笔记本电脑,这就是我想要使用的。在下面的图片中,我试图从自托管 IR 创建一个数据集。它在复制任务中效果很好,但对于数据流它是灰色的。

【问题讨论】:

【参考方案1】:

对于这个问题,我向 Azure 支持寻求帮助,他们给了我答案:

答案:

这意味着当前阶段的数据流中不支持本地 SQL 服务器作为数据集。

屏幕截图:

更新

数据流现在仅支持 Azure IR,因此不支持本地数据集。 请参阅Integration runtime types。

希望这会有所帮助。

【讨论】:

【参考方案2】:

在我这边重现您的问题,但是官方文档中没有关于此功能的任何声明。正如您在各处看到的有关数据流的声明:

您可以在这里提交任何声音:

还找到了一个feedbackADF中的数据流供您参考。如果您需要推动它的进展,您可以投票赞成。另外,我建议您参考链接中的 cmets:

要访问 80 多个 ADF 连接器,请使用复制活动来暂存数据 进行转型。

数据流将访问您的湖(Blob、ADB、ADW、ADLS)中的数据 转型。

将复制活动视为您的数据繁重活动和数据 Flow 作为您的数据转换引擎。

【讨论】:

【参考方案3】:

如果您的目标是在 ADF 中使用带有本地数据的映射数据流来使用可视化数据转换,那么请先使用 Copy Activity 构建管道。使用带有复制活动的自托管集成运行时将数据暂存到 Blob 存储中。然后添加一个后续的执行数据流活动来转换该数据。

我制作了有关如何执行此操作的视频:

https://www.youtube.com/watch?v=IN-4v0e7UIs

【讨论】:

以上是关于Azure 数据工厂数据流任务不能以 prem 为源的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Azure 数据工厂中为雪花连接执行下推优化

Azure 数据工厂 - 使用 Rest API 的复制任务仅在执行时返回第一行

Azure 数据工厂 - 将查找值/ID 传递到 ForEach 复制任务不起作用

如何从数据流中获取特定数据以用于 Azure 数据工厂中的其他活动

如何使用构建管道部署 Azure 数据工厂资源?

如何通过代码直接访问 Azure On-Prem Data Gateway