DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件
Posted
技术标签:
【中文标题】DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件【英文标题】:DataFlow not able to read API response json file stored in Blob Storage 【发布时间】:2021-03-16 05:36:16 【问题描述】:json structureData Flow 无法读取存储在 blob 存储中的 API 响应 json 文件,如果手动将文件放置在同一位置它工作正常,但是对于 json api 响应数据流说文件损坏?在数据集中我可以预览文件,但在数据流中它不起作用。
【问题讨论】:
你能告诉我们你的json文件的结构吗? 我创建了一个相同的测试并且没有错误,这似乎是个体差异的问题。 嘿@JosephXu 我已将结构附加到帖子中 您可能会遇到此错误:docs.microsoft.com/en-us/azure/data-factory/… 在 JSON 选项下的源选项中更改文档形式。 【参考方案1】:我认为您的问题是 JSON 解析错误,请参阅:Error code: DF-Executor-SystemInvalidJson。
消息: JSON 解析错误,不支持的编码或多行 原因: JSON 文件可能存在的问题:不支持的编码、损坏的字节或将 JSON 源用作单个文档 许多嵌套行 建议:验证 JSON 文件的编码是否受支持。在使用 JSON 数据集的源转换上,展开 “JSON 设置”并打开“单个文档”。
【讨论】:
以上是关于DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件的主要内容,如果未能解决你的问题,请参考以下文章
GCP Dataflow- 从存储中读取 CSV 文件并写入 BigQuery
需要通过oledb连接从azure存储blob容器中读取excel文件