从 Google 表格获取数据到 BigQuery
Posted
技术标签:
【中文标题】从 Google 表格获取数据到 BigQuery【英文标题】:Getting data from Google Sheets to BigQuery 【发布时间】:2021-04-11 20:29:50 【问题描述】:我需要将数据从 Google 表格提取到 BigQuery。到目前为止,我已经使用 CSV 选项在 BQ 中创建了一个表,并且所有数据都很好地导入了。但现在我需要使用 Google Sheet 选项卡中的数据自动更新 BQ 表。谁能指出我正确的方向?提前致谢。
【问题讨论】:
【参考方案1】:使用 BigQuery,您可以通过从控制台创建外部表来直接从 Google 表格中查询数据。
鉴于您的数据格式正确,您只需从“云端硬盘”“创建表格”,提供您的 Google 表格 uri,填写一些其他设置即可!
在 BigQuery 中也可以立即访问电子表格中的任何更改。
Documentation 供参考。
【讨论】:
【参考方案2】:我在 BQ 发布时查看了它并很快将其关闭,因为它在短时间内免费,然后我们必须付费。我有自己的域/网站,它带有 mysql、FTP 等等。
不管怎样,我有很多项目都朝着相反的方向发展,将数据从 SQL DB 拉到工作表中,但哪个方向并不重要。
Google 表格有触发器,我将触发器设置为在特定时间启动,通常是每天,您可以设置触发器以触发您指定的功能。
https://developers.google.com/apps-script/reference/script/clock-trigger-builder
您也可以通过脚本设置触发器
/**
* Creates time-driven triggers
*
* https://developers.google.com/apps-script/reference/script/clock-trigger-builder
*/
function createTimeDrivenTriggers()
// Trigger every day at 04:00AM CT.
ScriptApp.newTrigger('csvDaily')
.timeBased()
.everyDays(1)
.atHour(4)
.create();
【讨论】:
以上是关于从 Google 表格获取数据到 BigQuery的主要内容,如果未能解决你的问题,请参考以下文章
使用命令行将数据从 BigQuery 加载到 Google 表格中
将数据从 Google 表格流式传输到 BigQuery 以在 Tableau 中进行可视化
从 bigquery 导入到 google 表格限制为 10k 行
有没有办法在仅附加模式下使用 Google Apps 脚本将数据从 BigQuery 加载到 Google 表格?