BigQuery 从 sql 数据的 json 导出加载数据

Posted

技术标签:

【中文标题】BigQuery 从 sql 数据的 json 导出加载数据【英文标题】:BigQuery loading data from json export of sql data 【发布时间】:2017-01-27 14:32:48 【问题描述】:

BigQuery 可以从 json 加载数据,但要求是一个 JSON 对象,包括任何嵌套/重复的字段,必须出现在每一行

有谁知道如何使用 FOR JSON 从 sql server 2016 数据库中导出数据,以便 BigQuery 加载文件(即 json 换行符)?

【问题讨论】:

【参考方案1】:

自己创建格式化脚本,任何具有文件读取、正则表达式和字符串替换的语言都适合它(现在几乎没有人没有这些)。

这将需要一两个或三个小时 - 已经适合您一直在等待响应的时间段。 :-)

【讨论】:

【参考方案2】:

感谢您的回答,但我找到了一个更优雅的解决方案,只需要 sql。使用 FOR JSON 子句包装单个记录,然后使用 SQL Server 数据导出将结果通过管道传输到文件。

选择 ( 选择 E.EmployeeID, E.名字 FROM dbo.Employees E WHERE E.EmployeeID = EE.EmployeeID 对于 JSON 路径,WITHOUT_ARRAY_WRAPPER ) X FROM dbo.Employees EE

【讨论】:

以上是关于BigQuery 从 sql 数据的 json 导出加载数据的主要内容,如果未能解决你的问题,请参考以下文章

BigQuery 标准 SQL 中的 JSON_EXTRACT?

需要 SQL 查询帮助以解析 BigQuery 表中的 JSON 数据

Bigquery:从 json 数组中提取数据

如何在 BigQuery 标准 SQL 中取消嵌套多个数组

从 BigQuery 数据 JSON 中的数组中提取索引值

从 Cloud Storage Json 加载数据时出现 BigQuery 错误