使用 boto 为 RedShiftCopyActivity 创建 AWS 数据管道
Posted
技术标签:
【中文标题】使用 boto 为 RedShiftCopyActivity 创建 AWS 数据管道【英文标题】：Using boto to create a AWS data pipeline for the RedShiftCopyActivity 【发布时间】：2015-06-26 22:56:49 【问题描述】：我正在尝试将数据从 s3 移动到 redshift，并希望对 redshift 中的主键强制唯一性。我意识到复制命令本身不能做到这一点。但是，我注意到可通过 AWS 数据管道获得的 RedshiftCopyActivity 允许使用“OVERWRITE_EXISTING”标志，这至少允许以某种方式强制执行主键。
我想知道是否可以使用 boto 来实现这一点，以及是否有人可以向我指出这种用法的示例。
【问题讨论】：
【参考方案1】：我认为 boto 或许能够为 RedshiftCopyActivity 创建数据管道。
这是有关如何将定义放入数据管道的文档。
https://boto3.readthedocs.org/en/latest/reference/services/datapipeline.html#DataPipeline.Client.put_pipeline_definition
这里是 RedshiftCopyAcitivty 的定义示例
http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-redshift-define-pipeline-cli.html
【讨论】：
以上是关于使用 boto 为 RedShiftCopyActivity 创建 AWS 数据管道的主要内容，如果未能解决你的问题，请参考以下文章
使用 BOTO3 为 AWS Api Gateway 自动化 CORS