bigquery 自动更新表
Posted
技术标签:
【中文标题】bigquery 自动更新表【英文标题】:bigquery auto update table 【发布时间】:2017-11-29 20:26:44 【问题描述】:我正在使用 firebase 收集应用数据(一个 ios 和一个 android)并链接到 bigquery。所以每天都会每天收集数据,但我希望每天的数据都存储在一张大表中。基本上在每天的数据被收集之后,我想自动查询插入函数将新数据(日内表)插入到那个大表中?
【问题讨论】:
【参考方案1】:-
创建分区表
编写一个脚本,触发将新数据推送到步骤 1 中的分区表中。
https://cloud.google.com/bigquery/docs/partitioned-tables Schedule query in BigQuery
【讨论】:
您能否详细说明第 2 步。当您需要事件的池机制时,您在 BigQuery 中提供的计划查询链接很有意义。但我正在寻找不同的场景,我希望在 BigQuery 表中发生任何更新或数据插入时触发事件。以上是关于bigquery 自动更新表的主要内容,如果未能解决你的问题,请参考以下文章
每次在 Google Cloud Storage 上上传 CSV 时如何触发自动更新 Google BigQuery 数据集
使用 Python API 使用 RECORD 字段更新 BigQuery 架构