您能否将 Blob 存储中的 JSON 文件的全部内容放入 ADF 变量中?如果是这样,怎么做?
Posted
技术标签:
【中文标题】您能否将 Blob 存储中的 JSON 文件的全部内容放入 ADF 变量中?如果是这样,怎么做?【英文标题】:Can you get full content of a JSON file inside a blob storage into a ADF variable? If so, how? 【发布时间】:2022-01-11 11:57:14 【问题描述】:在 ADF 中,我正在尝试获取存储在 blob 中某处 JSON 中的 GraphQL API(Web 活动块)查询的现成内容。由于速度要求,我们不能每次都启动 Databricks。
可以做些什么来获取 内容,而不是 JSON 文件的元数据,并将其存储在 ADF 变量中,该变量将参数化进一步的管道块(文件的路径是已知的、固定的,并且该文件可通过链接服务访问)?
【问题讨论】:
Azure Redis 缓存是否适合您?只是为了消除速度要求 【参考方案1】:我会创建元数据 Azure SQL 数据库(基本每月只需 5 美元)。它可以通过私有链接与 Azure 数据工厂连接。这是最简单最快的方法。您只需将数据保存在那里,然后用该数据库的结果填充数据流等参数。
【讨论】:
以上是关于您能否将 Blob 存储中的 JSON 文件的全部内容放入 ADF 变量中?如果是这样,怎么做?的主要内容,如果未能解决你的问题,请参考以下文章
DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件
将 json 文档归档到 Azure Blob 存储的最佳做法是啥?
使用 PowerShell 脚本从 Azure Blob 存储读取 JSON 文件并写回 Blob 存储中的另一个文件
如何将 sqlite 文件中的 blob 数据读取为可读格式?