将数据从 Amazon Redshift 迁移到 DynamoDB

Posted

技术标签:

【中文标题】将数据从 Amazon Redshift 迁移到 DynamoDB【英文标题】:Migrating Data From Amazon Redshift into DynamoDB 【发布时间】:2017-02-10 11:43:21 【问题描述】:

有大量示例将数据从 DynamoDB 迁移到 Redshift,但我找不到任何将数据从 Redshift 迁移到 DynamoDB 的示例或文档。有关以有效方式将数据从 Redshift 迁移到 DynamoDB 的任何建议/示例/文档?

【问题讨论】:

【参考方案1】:

包括编写一些代码的一个解决方案是使用 RedShift 的 unload 功能并将查询数据放入 s3 存储桶中。通过这样做,您可以处理此特定存储桶的 Put 事件,并触发将数据持久化到 dynamodb 的 lambda 函数,或者将 sqs 消息发送到执行相同操作的 beanstalk worker(将数据持久化到 dynamodb)

【讨论】:

以上是关于将数据从 Amazon Redshift 迁移到 DynamoDB的主要内容,如果未能解决你的问题,请参考以下文章

Amazon Redshift - 复制 - 数据加载与查询性能问题

将数据从 Amazon redshift 卸载到 Amazon s3

将数据从 Amazon S3 复制到 Redshift 并避免重复行

将数据从 sql server 增量上传到 Amazon Redshift [关闭]

将数据从 firebase 加载到 amazon redshift

psycopg2/python 将数据从 postgresql 复制到 Amazon RedShift(postgresql)