将数据从 Citus 迁移到 RDS

Posted 2023-02-19

【中文标题】将数据从 Citus 迁移到 RDS

【英文标题】：Migrate data from Citus to RDS

【发布时间】：2021-10-19 14:14:40

【问题描述】：

由于 Citus 不会在 AWS 中作为托管服务提供，我正在尝试将数据库移动到 RDS（不是整个历史记录，而只是作为 OLTP 的事务部分）。从 Citus 迁移并不清楚，因为数据不驻留在单个节点中。我想检查一下我们可能必须将数据从 Citus 移动到 RDS 的选项。

Amazon DMS：此选项适用于受支持的数据库 (PostgreSQL)，但由于引擎的分布式特性，我们不知道这在 Citus 中会有什么行为。是否有人将数据迁移到 S3、另一个 DB 或这些行中的东西？ 我从 AWS https://d1.awsstatic.com/whitepapers/aws-cloud-data-ingestion-patterns-practices.pdf?did=wp_card&trk=wp_card 看到了这篇关于如何从不同来源摄取数据的论文，DMS 似乎是一个不错的选择，但我不太了解 Citus 的内部结构，无法判断我们是否会获得所有数据并正确收集 CDC。

自定义迁移：通过支持票证，我们可以访问 Citus 用于灾难恢复的 S3 存储桶，其中 WAL 日志可用，我们可以使用 WAL-G 之类的工具获取这些日志并在 Postgres 实例中复制它们.这里的问题是这是一个非常自定义的迁移，开发时间可能太长。 是否有任何其他选项可以将数据从 Citus 移动到 AWS 中的 RDS 或 Aurora，什么看起来像是进行数据库迁移的好方法？所有文档都提到将数据从 Aurora 或 RDS 转移到 Citus。

【问题讨论】：

您愿意忍受多长时间的停机？

停机时间可能约为几个小时（2 小时），数据量约为 7 TB，而不是 30 个表。不均匀分布（有些表有 1~2 TB 的数据，有些有 2GB）

补图，数据变化率是多少，有些大表是不可变的？您打算迁移到 RDS for PostgreSQL 还是 RDS Aurora PostgreSQL？

【参考方案1】：

来自 Citus Cloud 的 Sumedh。请继续与我们一起打开支持票以进一步调查解决方案。我们可以评估使用 DMS 是否适合您的用例。