您如何将 DynamoDB Map/List 类型转换为通过 AWS Pipeline 到 Redshift？

Posted 2023-03-31

【中文标题】您如何将 DynamoDB Map/List 类型转换为通过 AWS Pipeline 到 Redshift？

【英文标题】：How do you transform DynamoDB Map/List types to through AWS Pipeline to Redshift?

【发布时间】：2016-04-14 18:40:31

【问题描述】：

我有两个 DynamoDB 表，一个是 Map 数据类型 (JSON)，一个是 List 数据类型（JSON 列表）。

我们当前的 Redshift 管道声称这些是不受支持的数据类型。

如何将这些列转换为 Redshift as varchar(MAX)？

【参考方案1】：

您能否提供您的 AWS DataPipeline 管道 ID？

此外，请查看此示例，该示例使用 Data Pipeline 的 HiveActivity 和 RedshiftCopyActivity 将数据从 DynamoDB 表复制到 Redshift 表，同时使用 Hive（用于数据转换）和 S3（用于暂存）执行数据转换。此示例的动机是希望将一列的数据类型转换为另一种数据类型的用例。此示例演示将列从二进制转换为 base64 字符串。

https://github.com/awslabs/data-pipeline-samples/tree/master/samples/DynamoDBToRedshiftConvertDataUsingHive

【讨论】：

这是否允许我将列表和地图拆分为 Redshift 中的新列？