从firebase传输后bigquery表中的数据是不是被覆盖?
Posted
技术标签:
【中文标题】从firebase传输后bigquery表中的数据是不是被覆盖?【英文标题】:Is the data in the bigquery table overwritten after being transferred from firebase?从firebase传输后bigquery表中的数据是否被覆盖? 【发布时间】:2021-07-27 10:37:36 【问题描述】:将数据从 Firebase 传输到 bigquery 到 events_ 表时,我们每天早上都会获取前一天的数据。这是最终数据还是仍会被覆盖,类似于谷歌分析(在最终稳定前 3 天内覆盖数据)?
【问题讨论】:
【参考方案1】:来自BigQuery Export schema上的文档:
在每个数据集中,导出的每一天都会导入一个表。这些表的格式为
"events_YYYYMMDD"
。此外,还会为当天收到的应用事件导入一个表格。此表名为
“events_intraday_YYYYMMDD"
,并在收集应用事件时实时填充。如果您使用 BigQuery 沙盒,则不会在日内导入事件,并且存在额外限制。如果您想要日内导入,请从沙盒升级。
因此,如果您要查询 events_YYYYMMDD
表,它们只会在一天的数据完成后写入,但如果您查询 events_intraday_YYYYMMDD
,则数据会在当天更新。
【讨论】:
是的,我读过它。但是在events_*
表的“详细信息”部分(不是日内),我看到 创建日期 是下一个日历日,但 Last modified 日期是通常在创建日期后 2 天。我在文档中没有看到这个事实,所以我决定问
我在上面的问题文本中添加了一个“详细信息”部分的屏幕以进行澄清以上是关于从firebase传输后bigquery表中的数据是不是被覆盖?的主要内容,如果未能解决你的问题,请参考以下文章
如何从 BigQuery 中的 Firebase 事件中获取用户表?
在 Bigquery - 如何从 Firebase 事件表中查询昨天的数据和过去 7 天的数据
使用 event_name 列启用集群,以便将数据从 Firebase Analytics 流式传输到 Bigquery