BigQuery 云功能

Posted

技术标签:

【中文标题】BigQuery 云功能【英文标题】:Bigquery cloud function 【发布时间】:2019-02-08 13:57:33 【问题描述】:

是否可以使用从 BigQuery 返回到 BigQuery 的数据流脚本创建云函数。我们的主表很大,并且有多个嵌套字段,这破坏了提取功能。我们想创建多个可以提取的简单表格,其中包含所有用于可视化的相关信息。只有在主表发生变化时才应该执行查询。

【问题讨论】:

我不太明白您要解决的问题。另外,为什么你的“主表很大”,什么是“巨大”?是分区的还是集群的? 【参考方案1】:

Cloud Functions 不支持 [但希望如此] 基于 BigQuery 事件的触发器

截至今天,Cloud Functions 支持以下原生触发机制:

HTTP 触发器 云发布/订阅触发器 云存储触发器 直接触发器 Cloud Firestore Firebase 分析 实时数据库

在Calling Cloud Functions查看更多信息

【讨论】:

以上是关于BigQuery 云功能的主要内容,如果未能解决你的问题,请参考以下文章

如何从 firebase 云功能访问 bigquery 数据?

在 Bigquery 中为多个 CSV 文件自动创建表

如何限制 BigQuery 获取的行数?

通过 VPC/*** 的 Google 托管服务(BigQuery、云存储等)

从 Pubsub 在 BigQuery 中编写查询

将 csv 文件从云存储批量加载到 bigquery