Azure 数据工厂数据流任务不能以 prem 为源
Posted
技术标签:
【中文标题】Azure 数据工厂数据流任务不能以 prem 为源【英文标题】:Azure data factory data flow task cannot take on prem as source 【发布时间】:2019-10-31 14:15:51 【问题描述】:嘿, 我在创建使用本地源的数据流任务时遇到问题。这在预览版中是不可能的吗?
我创建了一个自托管 IR 来将 ADF 连接到我的笔记本电脑,这就是我想要使用的。在下面的图片中,我试图从自托管 IR 创建一个数据集。它在复制任务中效果很好,但对于数据流它是灰色的。
【问题讨论】:
【参考方案1】:对于这个问题,我向 Azure 支持寻求帮助,他们给了我答案:
答案:
这意味着当前阶段的数据流中不支持本地 SQL 服务器作为数据集。
屏幕截图:
更新:
数据流现在仅支持 Azure IR,因此不支持本地数据集。 请参阅Integration runtime types。
希望这会有所帮助。
【讨论】:
【参考方案2】:在我这边重现您的问题,但是官方文档中没有关于此功能的任何声明。正如您在各处看到的有关数据流的声明:
您可以在这里提交任何声音:
还找到了一个feedbackADF中的数据流供您参考。如果您需要推动它的进展,您可以投票赞成。另外,我建议您参考链接中的 cmets:
要访问 80 多个 ADF 连接器,请使用复制活动来暂存数据 进行转型。
数据流将访问您的湖(Blob、ADB、ADW、ADLS)中的数据 转型。
将复制活动视为您的数据繁重活动和数据 Flow 作为您的数据转换引擎。
【讨论】:
【参考方案3】:如果您的目标是在 ADF 中使用带有本地数据的映射数据流来使用可视化数据转换,那么请先使用 Copy Activity 构建管道。使用带有复制活动的自托管集成运行时将数据暂存到 Blob 存储中。然后添加一个后续的执行数据流活动来转换该数据。
我制作了有关如何执行此操作的视频:
https://www.youtube.com/watch?v=IN-4v0e7UIs
【讨论】:
以上是关于Azure 数据工厂数据流任务不能以 prem 为源的主要内容,如果未能解决你的问题,请参考以下文章
Azure 数据工厂 - 使用 Rest API 的复制任务仅在执行时返回第一行
Azure 数据工厂 - 将查找值/ID 传递到 ForEach 复制任务不起作用