如何将数据从 Redshift 迁移到 BigQuery

Posted 2023-03-24

【中文标题】如何将数据从 Redshift 迁移到 BigQuery

【英文标题】：How to migrate data from Redshift to BigQuery

【发布时间】：2021-12-24 02:22:04

【问题描述】：

我需要将数据从 RDS 迁移到 BQ，以便在 Vertex AI 上运行模型。 来自 RDS 的表需要尽可能快地在 BQ 上，主数据库和 BQ 副本之间的同步延迟要低。 我想创建一个触发器，当RDS上的数据库更新时，它会自动更新BQ数据库。 我看到了 BQ 数据传输服务工具，它适用于这种情况吗？ 我可以在触发时间为每个作业迁移多个表吗？

【参考方案1】：

BigQuery 数据传输服务是 GCP 中用于将红移迁移到 Bigquery 的工具。对于迁移的前提条件和权限等要求，您可以参考此 GCP 文档：https://cloud.google.com/bigquery-transfer/docs/redshift-migration#overview

对于从 redshift 到 Bigquery 的实时更新要求，BigQuery 数据传输仅按计划的托管方式传输。 GCP 文档：https://cloud.google.com/bigquery-transfer/docs/introduction

对于在触发时间为每个作业迁移多个表的要求，BigQuery 的负载配额为 15 TB，每个负载作业，每个表。您可以参考此文档了解配额和限制：https://cloud.google.com/bigquery-transfer/docs/redshift-migration#quotas_and_limits。 鉴于此限制，GCP 可通过提出以下公式帮助您估算传输需要多少负载作业以提高效率：

Number of daily jobs = Number of transfers x Number of tables x Schedule frequency x Refresh window

你可以参考这个文档来进一步解释这个公式：https://cloud.google.com/bigquery-transfer/quotas#load_jobs