BigQuery 数据传输 - 数据回填与刷新
Posted
技术标签:
【中文标题】BigQuery 数据传输 - 数据回填与刷新【英文标题】：BigQuery Data Transfer - Data Backfill vs Refresh 【发布时间】：2021-12-30 17:41:27 【问题描述】：我能知道在 BigQuery 数据传输上下文中数据 backfilling 和 refreshing 之间的区别吗？
数据刷新窗口是一个可以在为 Google Ads 和 Search Ads 360 数据设置 BigQuery 数据传输时配置的参数（可能也用于其他一些 BigQuery 数据传输）。
参考：https://cloud.google.com/bigquery-transfer/docs/working-with-transfers#refreshing https://cloud.google.com/bigquery-transfer/docs/adwords-transfer
【问题讨论】：
【参考方案1】：-数据传输：
配置数据传输后，BigQuery 数据传输服务会定期自动将数据加载到 BigQuery 中。
即将过去 24 小时的数据提取到您的 BQ 数据集。
-回填：
您还可以启动数据回填以从任何中断或间隙中恢复。
即获取数据间隙，插入未在数据传输中导入的新行。
-刷新：覆盖目标表中数据的新副本。
来源：
Cloud Storage transfers | BigQuery Data Transfer Service | Google Cloud
What is BigQuery Data Transfer Service? | Google Cloud
【讨论】：
谢谢@ewertonvsilva。对于Refresh，如果Refresh Window 是7 天，这是否意味着每天都会连续获取最后7 天的数据（作为7 天的滑动窗口）我想这个想法是要捕获任何延迟记录的数据？
没错，你的理解是对的。滑动窗口将访问过去 7 天，并使用这些天的最后数据更新它们。【参考方案2】：
RefreshWindow 上的更多参考资料：
https://cloud.google.com/bigquery-transfer/docs/reference/datatransfer/rest/v1/projects.locations.transferConfigs#TransferConfig
【讨论】：
以上是关于BigQuery 数据传输 - 数据回填与刷新的主要内容，如果未能解决你的问题，请参考以下文章
在 BigQuery 中回填 Google Analytics