从 Google 表格获取数据到 BigQuery

Posted

技术标签:

【中文标题】从 Google 表格获取数据到 BigQuery【英文标题】:Getting data from Google Sheets to BigQuery 【发布时间】:2021-04-11 20:29:50 【问题描述】:

我需要将数据从 Google 表格提取到 BigQuery。到目前为止,我已经使用 CSV 选项在 BQ 中创建了一个表,并且所有数据都很好地导入了。但现在我需要使用 Google Sheet 选项卡中的数据自动更新 BQ 表。谁能指出我正确的方向?提前致谢。

【问题讨论】:

【参考方案1】:

使用 BigQuery,您可以通过从控制台创建外部表来直接从 Google 表格中查询数据。

鉴于您的数据格式正确,您只需从“云端硬盘”“创建表格”,提供您的 Google 表格 uri,填写一些其他设置即可!

在 BigQuery 中也可以立即访问电子表格中的任何更改。

Documentation 供参考。

【讨论】:

【参考方案2】:

我在 BQ 发布时查看了它并很快将其关闭,因为它在短时间内免费,然后我们必须付费。我有自己的域/网站,它带有 mysql、FTP 等等。

不管怎样,我有很多项目都朝着相反的方向发展,将数据从 SQL DB 拉到工作表中,但哪个方向并不重要。

Google 表格有触发器,我将触发器设置为在特定时间启动,通常是每天,您可以设置触发器以触发您指定的功能。

https://developers.google.com/apps-script/reference/script/clock-trigger-builder

您也可以通过脚本设置触发器

/**
 * Creates time-driven triggers
 *
 * https://developers.google.com/apps-script/reference/script/clock-trigger-builder
 */
function createTimeDrivenTriggers() 
  // Trigger every day at 04:00AM CT.
  ScriptApp.newTrigger('csvDaily')
      .timeBased()
      .everyDays(1)
      .atHour(4)
      .create();

【讨论】:

以上是关于从 Google 表格获取数据到 BigQuery的主要内容,如果未能解决你的问题,请参考以下文章

使用命令行将数据从 BigQuery 加载到 Google 表格中

将数据从 Google 表格流式传输到 BigQuery 以在 Tableau 中进行可视化

从 bigquery 导入到 google 表格限制为 10k 行

有没有办法在仅附加模式下使用 Google Apps 脚本将数据从 BigQuery 加载到 Google 表格?

我们可以将 BigQuery 中的数据导入 Google 表格吗?

Google 数据准备 - 无法从 BigQuery 导入表(从 Google 表格创建)“未找到”