使用 Python，将 google.cloud.bigquery.job.query.QueryJob 输出保存到本地 JSON 文件

Posted 2023-03-25

【中文标题】使用 Python，将 google.cloud.bigquery.job.query.QueryJob 输出保存到本地 JSON 文件

【英文标题】：With Python, save google.cloud.bigquery.job.query.QueryJob output to local JSON file

【发布时间】：2021-08-10 14:01:55

【问题描述】：

我们正在使用 google bigquery 客户端库在 python 中从 BigQuery 导出到本地 JSON 文件：

from google.cloud import bigquery
import json

bq = bigquery.Client()
full_query = """
    SELECT TO_JSON_STRING(t)
    FROM (select * from bigquery-public-data.baseball.schedules) AS t
"""
query_rowiterator = bq.query(full_query).result() # rowIterator

在TO_JSON_STRING 中包装我们的查询会将输出转换为 JSON并维护类型 (BigQuery downloading or exporting as JSON does not respect types)，这对于我们的表提取很重要。

如何尽快将queryjob_output 的输出转储到本地 JSON 文件中？

【参考方案1】：

我们需要做的就是从索引 [0] 处的行中获取 JSON：

with open(f'tmp/test_output.json', 'w') as f:
    for row in query_rowiterator:
        f.write(row[0] + '\n')