将 JSON 数据从 dynamoDB 复制到 redshift
Posted
技术标签:
【中文标题】将 JSON 数据从 dynamoDB 复制到 redshift【英文标题】:Copying JSON data from dynamoDB to redshift 【发布时间】:2015-02-01 20:08:25 【问题描述】:如果我的 dynamoDB 数据包含 JSON 格式值,我想知道是否可以将数据从 dynamoDB 复制到 redshift。如果是,会怎样?
【问题讨论】:
【参考方案1】:您可以将值从 DynamoDB 上传到 s3,然后您可以复制命令以将数据加载回 redshift。
redshift 支持将 JSON 结构复制到 DB 中。 参考链接:http://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html
【讨论】:
是否需要经过S3? 您可以使用下面的链接将数据直接加载到 redshift 中。 docs.aws.amazon.com/redshift/latest/dg/… 。但是如果你想将json数据转换成列那么你需要,它不是直接可能的 我想知道为什么......我认为redshift使用支持JSON的postgresql以上是关于将 JSON 数据从 dynamoDB 复制到 redshift的主要内容,如果未能解决你的问题,请参考以下文章
从 DynamoDB 流复制到 Kinesis Data Streams 时如何维护顺序并避免重复记录?
AWS:每小时将数据从 DynamoDB 同步到 Redshift