如何在 Azure 数据工厂中为雪花连接执行下推优化

Posted 2023-03-29

【中文标题】如何在 Azure 数据工厂中为雪花连接执行下推优化

【英文标题】：How to perform push down optimization in Azure Data Factory for snowflake connection

【发布时间】：2020-09-04 10:48:58

【问题描述】：

最近微软推出了用于 ADF 中数据流的雪花连接。有没有办法在 ADF 中打开下推优化，这样如果我的源和目标只是雪花，那么它应该触发雪花中的查询来完成任务，而不是从雪花环境中提取数据。就像普通的 ELT 流程而不是 ETL。

如果您需要更多说明，请告诉我。

【问题讨论】：

嗨@vipendra singh，你解决过这个问题吗？这在 ADF 中可行吗？

您好 Oxford，ADF 现在在数据流中提供了原生雪花连接器。这应该消除数据的移动。否则，您可以利用 Azure 功能的帮助来创建手动连接器来连接雪花。我选择了后者，因为当时 natice 连接器没有发布。谢谢

【参考方案1】：

据我了解，此处的意图是从 ADF 对雪花数据进行查询，以便可以清除数据（或类似的东西）。我看到 Lookup 活动也支持雪花，这可能会对您有所帮助。我对 SF 的了解有限，但我知道您可以从查找活动中调用 proc/query，这应该会有所帮助。

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-lookup-activity

“查找活动读取并返回配置文件或表的内容。它还返回执行查询或存储过程的结果。查找活动的输出可用于后续复制或转换活动（如果它是单例）值。如果输出是属性数组，则可以在 ForEach 活动中使用。"

【讨论】：

嗨Himanshusinha，您能解释一下我们如何使用查找来执行查询吗？