如何将内联数据集（增量）的参数化链接服务的参数传递给数据流？

Posted 2023-03-31

【中文标题】如何将内联数据集（增量）的参数化链接服务的参数传递给数据流？

【英文标题】：How to pass parameters for parameterized linked services for inline datasets (delta) to dataflow?

【发布时间】：2021-12-07 16:39:42

【问题描述】：

我在数据流中有一个增量数据源。为了连接到它，我需要使用参数化的链接服务；但是，我找不到可以解决链接服务参数值的位置： 参数在下面的屏幕截图中突出显示：

在数据流中，我看不到任何提示来处理我的参数值：

谢谢:)

【问题讨论】：

如果回答对您有帮助，您可以Accept it as an Answer，以便其他遇到相同问题的人可以找到此解决方案并解决他们的问题

@KarthikBhyresh-MT 感谢您的回复，我认为 Data Lake 非参数化链接服务是比使用 Azure Delta Lake 链接服务更直接的解决方案。

【参考方案1】：

当您创建 Delta Lake 链接服务时，您似乎没有提供参数！

我认为这是有道理的：Delta 格式只能作为内联数据集使用。因为 Delta Lake 是 Spark 的一个开源内置存储层，它在 Azure Data Lake 或 Databricks 之上运行并且没有架构，所以目前 ADF 没有为此提供参数化链接服务。由于这些文件可以存储在 Azure Blob 存储或 ADLS 或 Databricks 上，因此您只能将它们作为受支持的链接服务来源。

注意：在您的片段中，您访问的是 Azure Data Lake Storage Gen2 链接服务，而不是 Azure Databricks Delta Lake 链接服务（本机没有提供参数的规定)

例如，一个支持参数的 SQL 链接服务，在连接期间会有其数据集配置属性请求相关参数，如下所示，这似乎是缺失的，作为内联数据集。

但是.....

所以当你有如下配置时，你只能提供 默认值到参数。并通过使用测试确认工作 连接。

或者当你设置源文件时：

任何通过编辑高级部分或数据流代码/脚本中的 JSON 内容来将数据流参数引用到链接服务参数的尝试都被重置，主要表明该方法不支持。

我找不到明确的文档，您可以考虑将日志记录为支持请求或问题here 以获得官方回复或分享反馈here、similar 一个

【讨论】：

嗨 :) 感谢您的回复。我不明白数据流参数和链接服务参数之间的关系是如何建立的。例如，数据流如何知道数据流的 p_DLurl 映射到链接服务的 DLurl？谢谢你:)