DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件

Posted

技术标签:

【中文标题】DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件【英文标题】:DataFlow not able to read API response json file stored in Blob Storage 【发布时间】:2021-03-16 05:36:16 【问题描述】:

json structureData Flow 无法读取存储在 blob 存储中的 API 响应 json 文件,如果手动将文件放置在同一位置它工作正常,但是对于 json api 响应数据流说文件损坏?在数据集中我可以预览文件,但在数据流中它不起作用。

【问题讨论】:

你能告诉我们你的json文件的结构吗? 我创建了一个相同的测试并且没有错误,这似乎是个体差异的问题。 嘿@JosephXu 我已将结构附加到帖子中 您可能会遇到此错误:docs.microsoft.com/en-us/azure/data-factory/… 在 JSON 选项下的源选项中更改文档形式。 【参考方案1】:

我认为您的问题是 JSON 解析错误,请参阅:Error code: DF-Executor-SystemInvalidJson。

消息: JSON 解析错误,不支持的编码或多行 原因: JSON 文件可能存在的问题:不支持的编码、损坏的字节或将 JSON 源用作单个文档 许多嵌套行 建议:验证 JSON 文件的编码是否受支持。在使用 JSON 数据集的源转换上,展开 “JSON 设置”并打开“单个文档”。

【讨论】:

以上是关于DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件的主要内容,如果未能解决你的问题,请参考以下文章

GCP Dataflow- 从存储中读取 CSV 文件并写入 BigQuery

需要通过oledb连接从azure存储blob容器中读取excel文件

Azure更新存储下所有Contrainer的访问权限

在 Databricks 中读取 blob 存储中的数据

当有多个来源时,Google Dataflow 一次不会读取超过 3 个输入压缩文件

在 Dataflow 中从 BigQuery 写入云存储时如何设置文件大小而不是分片数