将数据集移动到另一个区域 bigquery
Posted
技术标签:
【中文标题】将数据集移动到另一个区域 bigquery【英文标题】:Move dataset to another region bigquery 【发布时间】:2021-06-14 18:23:19 【问题描述】:我想将数据集移动到另一个区域,但是有一些 pubsub 订阅带有数据流模板,用于加载数据集中的表。如何在不中断数据流作业的情况下做到这一点?或者尽可能少打扰他们。
是否可以在这些步骤中做到这一点?:
-
在新区域中使用临时名称创建临时数据集
将原始数据集复制到临时数据集
删除旧的原始数据集
在新区域中使用原始名称创建新数据集
使用原始数据集将临时数据集复制到新数据集
我愿意接受建议:D
【问题讨论】:
【参考方案1】:您现在可以在预览中使用copy dataset 功能。一项有趣的功能是该功能提供的跨区域副本。
您可以执行相同的过程,但更简单!
关于您的 Dataflow 管道,我认为它不起作用。事实上,位置是您写入 BigQuery 时的重要信息。试一试,但我很确定你必须更新它。
【讨论】:
以上是关于将数据集移动到另一个区域 bigquery的主要内容,如果未能解决你的问题,请参考以下文章
使用现有架构将表数据从一个 BigQuery 表流式传输到另一个
将 BigQuery 中的多个 Firebase 数据集聚合为单个数据集