将数据集移动到另一个区域 bigquery

Posted

技术标签:

【中文标题】将数据集移动到另一个区域 bigquery【英文标题】:Move dataset to another region bigquery 【发布时间】:2021-06-14 18:23:19 【问题描述】:

我想将数据集移动到另一个区域,但是有一些 pubsub 订阅带有数据流模板,用于加载数据集中的表。如何在不中断数据流作业的情况下做到这一点?或者尽可能少打扰他们。

是否可以在这些步骤中做到这一点?:

    在新区域中使用临时名称创建临时数据集 将原始数据集复制到临时数据集 删除旧的原始数据集 在新区域中使用原始名称创建新数据集 使用原始数据集将临时数据集复制到新数据集

我愿意接受建议:D

【问题讨论】:

【参考方案1】:

您现在可以在预览中使用copy dataset 功能。一项有趣的功能是该功能提供的跨区域副本。

您可以执行相同的过程,但更简单!

关于您的 Dataflow 管道,我认为它不起作用。事实上,位置是您写入 BigQuery 时的重要信息。试一试,但我很确定你必须更新它。

【讨论】:

以上是关于将数据集移动到另一个区域 bigquery的主要内容,如果未能解决你的问题,请参考以下文章

使用现有架构将表数据从一个 BigQuery 表流式传输到另一个

移动到另一个项目时无法识别类型化数据集

将 BigQuery 中的多个 Firebase 数据集聚合为单个数据集

google-cloud-composer BigQuery 跨数据集加载

将 BigQuery 项目克隆到另一个帐户

在 BigQuery 中将大量数据从美国数据集迁移到欧盟数据集的最佳方法?