在 BigQuery 中自动创建表

Posted 2023-03-25

【中文标题】在 BigQuery 中自动创建表

【英文标题】：Automatically creating tables in BigQuery

【发布时间】：2021-05-31 10:57:01

【问题描述】：

我创建了一个传输，每天将数据从 Amazon S3 存储桶加载到我的 Google Cloud。 Google Cloud 存储桶包含一个文件夹，其中包含更多包含应用程序/八位字节流“文件”的子文件夹。我可以在 BigQuery 中使用它们手动创建表（以 json 格式）。

但是，它们有很多，我想知道是否可以自动创建它们。我总是使用自动模式，它们在 json 中。我没有更改任何其他设置。是否可以在 UI 中执行此操作，如果没有，我如何在控制台中执行此操作？

【问题讨论】：

您可能应该澄清您的问题：您是想在 JSON 文件到达 GCS 后立即将它们自动加载到 BQ 中，还是想要一个 shell 命令立即加载它们？ （“在 UI 或控制台中执行此操作”：听起来手动 + 控制台和 UI 实际上是相同的，您可能是指 Cloud Shell）

文件加载到GC后，我想要一个基于它的BQ表。格式应为 json 格式，并应自动检测架构。

【参考方案1】：

您可以创建一个Cloud Function，即triggered by file upload。这样的云功能可以处理上传的文件并在 BigQuery 中创建表。