将 JSON 数据从 dynamoDB 复制到 redshift

Posted

技术标签:

【中文标题】将 JSON 数据从 dynamoDB 复制到 redshift【英文标题】:Copying JSON data from dynamoDB to redshift 【发布时间】:2015-02-01 20:08:25 【问题描述】:

如果我的 dynamoDB 数据包含 JSON 格式值,我想知道是否可以将数据从 dynamoDB 复制到 redshift。如果是,会怎样?

【问题讨论】:

【参考方案1】:

您可以将值从 DynamoDB 上传到 s3,然后您可以复制命令以将数据加载回 redshift。

redshift 支持将 JSON 结构复制到 DB 中。 参考链接:http://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html

【讨论】:

是否需要经过S3? 您可以使用下面的链接将数据直接加载到 redshift 中。 docs.aws.amazon.com/redshift/latest/dg/… 。但是如果你想将json数据转换成列那么你需要,它不是直接可能的 我想知道为什么......我认为redshift使用支持JSON的postgresql

以上是关于将 JSON 数据从 dynamoDB 复制到 redshift的主要内容,如果未能解决你的问题,请参考以下文章

将dynamoDB表复制到另一个没有S3的aws帐户

从 DynamoDB 流复制到 Kinesis Data Streams 时如何维护顺序并避免重复记录?

从 dynamodb 复制到 s3

AWS:每小时将数据从 DynamoDB 同步到 Redshift

使用 Spark 规划 JSON 的 DynamoDB 数据格式

pyspark 代码将 dynamodb 表复制到配置单元问题:不允许操作