您能否将 Blob 存储中的 JSON 文件的全部内容放入 ADF 变量中?如果是这样,怎么做?

Posted

技术标签:

【中文标题】您能否将 Blob 存储中的 JSON 文件的全部内容放入 ADF 变量中?如果是这样,怎么做?【英文标题】:Can you get full content of a JSON file inside a blob storage into a ADF variable? If so, how? 【发布时间】:2022-01-11 11:57:14 【问题描述】:

在 ADF 中,我正在尝试获取存储在 blob 中某处 JSON 中的 GraphQL API(Web 活动块)查询的现成内容。由于速度要求,我们不能每次都启动 Databricks。

可以做些什么来获取 内容,而不是 JSON 文件的元数据,并将其存储在 ADF 变量中,该变量将参数化进一步的管道块(文件的路径是已知的、固定的,并且该文件可通过链接服务访问)?

【问题讨论】:

Azure Redis 缓存是否适合您?只是为了消除速度要求 【参考方案1】:

我会创建元数据 Azure SQL 数据库(基本每月只需 5 美元)。它可以通过私有链接与 Azure 数据工厂连接。这是最简单最快的方法。您只需将数据保存在那里,然后用该数据库的结果填充数据流等参数。

【讨论】:

以上是关于您能否将 Blob 存储中的 JSON 文件的全部内容放入 ADF 变量中?如果是这样,怎么做?的主要内容,如果未能解决你的问题,请参考以下文章

DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件

将 json 文档归档到 Azure Blob 存储的最佳做法是啥?

使用 PowerShell 脚本从 Azure Blob 存储读取 JSON 文件并写回 Blob 存储中的另一个文件

如何将 sqlite 文件中的 blob 数据读取为可读格式?

如何将 Blob 存储的 Uri 作为输入 BAPI 参数传递

用于文件共享的 Azure 触发功能