红移：数据迁移

Posted 2023-03-30

【中文标题】红移：数据迁移

【英文标题】：Redshift : Data migration

【发布时间】：2016-10-19 11:55:40

【问题描述】：

我需要在两个 redshift 环境之间迁移表（生产到登台，反之亦然）。这两个环境在物理上是不同的位置。是否有任何实用程序可用于此。我不想使用 ETL 工具。 到目前为止，我已经尝试使用卸载到 csv 并加载，但它并不像预期的那样快。 我也需要自动化这个活动。请建议最好的方法。

【问题讨论】：

您是否尝试过 Redshift 快照？您甚至可以仅从快照还原表。由于制作快照不会花费太长时间，因此它适合您。检查此以获取详细信息。 docs.aws.amazon.com/redshift/latest/mgmt/…

吞吐量如何，能否处理多线程并行迁移？

你说你正在使用卸载，这很慢，你是卸载到 s3 还是其他地方？

@JonScott 我正在将其卸载到 s3 。

【参考方案1】：

只有两种方法可以从 Amazon Redshift 导出数据：

使用 UNLOAD 命令将 CSV 文件保存到 Amazon S3 创建 Amazon Redshift 集群的

快照

现在可以Restoring a Table from a Snapshot，因此您可以对整个集群进行快照，然后将所需的表恢复到另一个集群。

文档说：

您可以从快照恢复单个表，而不是恢复整个集群。当您从快照恢复单个表时，您需要为恢复的表指定源快照、数据库、架构和表名，以及目标集群、架构和新表名。 p>

您应该测试该过程以确定恢复的速度。

可以使用AWS Command-Line Interface (CLI) 中的aws redshift restore-table-from-cluster-snapshot 命令自动执行该过程。