将数据插入调整到 BigQuery
Posted
技术标签:
【中文标题】将数据插入调整到 BigQuery【英文标题】：Adjust Data insert to BigQuery 【发布时间】：2020-09-02 09:36:30 【问题描述】：Adjust（应用跟踪工具）提供带有 csv.gz 扩展名的原始数据。这个数据在我的桶里。我想自动将数据发送到 bigquery，并删除历史数据 csv.gz 文件。如何成功案例？我对云功能一无所知。
【问题讨论】：
【参考方案1】：您可以通过以下步骤来执行此操作：
-
创建 Cloud Storage 存储分区
使用
Trigger Type作为“Cloud Storage”创建一个Cloud Function，并链接在步骤[1]中创建的Cloud Storage存储桶名称
在 Cloud Function 代码中，使用 bigquery.Client() 读取 Cloud Storage blob
数据成功加载到 BigQuery 后，您可以使用storage.Client() 和“copy_blob”方法归档/备份文件
【讨论】：
以上是关于将数据插入调整到 BigQuery的主要内容，如果未能解决你的问题，请参考以下文章