将 csv 文件从云存储批量加载到 bigquery

Posted 2023-03-24

【中文标题】将 csv 文件从云存储批量加载到 bigquery

【英文标题】：batch load csv files from cloud storage to bigquery

【发布时间】：2020-07-31 16:55:02

【问题描述】：

csv 文件每 10 分钟上传到云存储，我想每 10 分钟将它们上传到 bigquery（批量加载）。我该如何安排？

我知道如何同时使用 CLI 和 BQ UI 将 csv 上传到 bigquery 中。但是不知道怎么用调度上传批量数据？

【问题讨论】：

你的语言是什么？

【参考方案1】：

创建一个谷歌云函数，当文件上传到云存储桶时触发。

Here's an example 在 python 中带有一个 json 文件。