BigQuery 加载 JSON 文件:如何忽略或重命名字段?
Posted
技术标签:
【中文标题】BigQuery 加载 JSON 文件:如何忽略或重命名字段?【英文标题】:BigQuery loading JSON file: How to ignore a field or rename it? 【发布时间】:2020-07-23 16:00:19 【问题描述】:我的计算机上有一个 NEWLINE_DELIMITED_JSON 文件,我想将它加载到 BigQuery 表中。 我在每行中有 3 个键。其中之一是时间戳:我想删除它,而不是在我的 BigQuery 表中获得“时间戳”列。 其中一个名称错误:JSON 文件中键的名称是“special_id”,但我想将其加载到名为“main_id”的列中。 在指定加载时创建的表的架构时,我找不到这样做的方法。有没有办法做到这一点?
谢谢你
【问题讨论】:
【参考方案1】:对于这种级别的灵活性:
不要作为 JSON 导入 导入为 CSV(定义空字符作为分隔符) 每一行只有一列 - 完整的 JSON 字符串 以最大的灵活性在 BigQuery 中解析(JSON 解析函数甚至 JS)【讨论】:
以上是关于BigQuery 加载 JSON 文件:如何忽略或重命名字段?的主要内容,如果未能解决你的问题,请参考以下文章
如何在加载到 Bigquery 时修复“未找到:文件 /bigstore/project/testing/filename.json”错误
如何在将JSON文件加载到BigQuery表中时管理/处理架构更改
使用 Python 将 Google Cloud Storage 中的数据加载到 BigQuery 时,如何强制忽略双引号?