从firebase传输后bigquery表中的数据是不是被覆盖?

Posted

技术标签:

【中文标题】从firebase传输后bigquery表中的数据是不是被覆盖?【英文标题】:Is the data in the bigquery table overwritten after being transferred from firebase?从firebase传输后bigquery表中的数据是否被覆盖? 【发布时间】:2021-07-27 10:37:36 【问题描述】:

将数据从 Firebase 传输到 bigquery 到 events_ 表时,我们每天早上都会获取前一天的数据。这是最终数据还是仍会被覆盖,类似于谷歌分析(在最终稳定前 3 天内覆盖数据)?

【问题讨论】:

【参考方案1】:

来自BigQuery Export schema上的文档:

在每个数据集中,导出的每一天都会导入一个表。这些表的格式为"events_YYYYMMDD"

此外,还会为当天收到的应用事件导入一个表格。此表名为“events_intraday_YYYYMMDD",并在收集应用事件时实时填充。

如果您使用 BigQuery 沙盒,则不会在日内导入事件,并且存在额外限制。如果您想要日内导入,请从沙盒升级。

因此,如果您要查询 events_YYYYMMDD 表,它们只会在一天的数据完成后写入,但如果您查询 events_intraday_YYYYMMDD,则数据会在当天更新。

【讨论】:

是的,我读过它。但是在events_* 表的“详细信息”部分(不是日内),我看到 创建日期 是下一个日历日,但 Last modified 日期是通常在创建日期后 2 天。我在文档中没有看到这个事实,所以我决定问 我在上面的问题文本中添加了一个“详细信息”部分的屏幕以进行澄清

以上是关于从firebase传输后bigquery表中的数据是不是被覆盖?的主要内容,如果未能解决你的问题,请参考以下文章

如何从 BigQuery 中的 Firebase 事件中获取用户表?

在 Bigquery - 如何从 Firebase 事件表中查询昨天的数据和过去 7 天的数据

使用 event_name 列启用集群,以便将数据从 Firebase Analytics 流式传输到 Bigquery

错误表中从 firebase 到 Bigquery 的日志

BigQuery 中的“events_intraday_YYYYMMDD”表中没有网络数据

Google BigQuery Google Ads 数据传输表中的重复数据