BigQuery 加载 JSON 文件:如何忽略或重命名字段?

Posted

技术标签:

【中文标题】BigQuery 加载 JSON 文件:如何忽略或重命名字段?【英文标题】:BigQuery loading JSON file: How to ignore a field or rename it? 【发布时间】:2020-07-23 16:00:19 【问题描述】:

我的计算机上有一个 NEWLINE_DELIMITED_JSON 文件,我想将它加载到 BigQuery 表中。 我在每行中有 3 个键。其中之一是时间戳:我想删除它,而不是在我的 BigQuery 表中获得“时间戳”列。 其中一个名称错误:JSON 文件中键的名称是“special_id”,但我想将其加载到名为“main_id”的列中。 在指定加载时创建的表的架构时,我找不到这样做的方法。有没有办法做到这一点?

谢谢你

【问题讨论】:

【参考方案1】:

对于这种级别的灵活性:

不要作为 JSON 导入 导入为 CSV(定义空字符作为分隔符) 每一行只有一列 - 完整的 JSON 字符串 以最大的灵活性在 BigQuery 中解析(JSON 解析函数甚至 JS)

【讨论】:

以上是关于BigQuery 加载 JSON 文件:如何忽略或重命名字段?的主要内容,如果未能解决你的问题,请参考以下文章

如何在加载到 Bigquery 时修复“未找到:文件 /bigstore/project/testing/filename.json”错误

如何在将JSON文件加载到BigQuery表中时管理/处理架构更改

使用 Python 将 Google Cloud Storage 中的数据加载到 BigQuery 时,如何强制忽略双引号?

BigQuery 从 sql 数据的 json 导出加载数据

使用空字典作为值将 JSON 文件加载到 BigQuery

将谷歌云存储中的 json 文件加载到 bigquery 表中