bigquery 自动更新表

Posted

技术标签:

【中文标题】bigquery 自动更新表【英文标题】:bigquery auto update table 【发布时间】:2017-11-29 20:26:44 【问题描述】:

我正在使用 firebase 收集应用数据(一个 ios 和一个 android)并链接到 bigquery。所以每天都会每天收集数据,但我希望每天的数据都存储在一张大表中。基本上在每天的数据被收集之后,我想自动查询插入函数将新数据(日内表)插入到那个大表中?

【问题讨论】:

【参考方案1】:
    创建分区表 编写一个脚本,触发将新数据推送到步骤 1 中的分区表中。

https://cloud.google.com/bigquery/docs/partitioned-tables Schedule query in BigQuery

【讨论】:

您能否详细说明第 2 步。当您需要事件的池机制时,您在 BigQuery 中提供的计划查询链接很有意义。但我正在寻找不同的场景,我希望在 BigQuery 表中发生任何更新或数据插入时触发事件。

以上是关于bigquery 自动更新表的主要内容,如果未能解决你的问题,请参考以下文章

BigQuery 自动化

每次在 Google Cloud Storage 上上传 CSV 时如何触发自动更新 Google BigQuery 数据集

使用 Python API 使用 RECORD 字段更新 BigQuery 架构

如何将BigQuery数据移动到长期存储?或者只是在90天后自动标记为? [关闭]

将工作表连接到 BigQuery

每次更新表时运行大查询计划