我可以使用AWS Glue将S3上的json数据转换为柱状格式并将其推送到Redshift吗？

Posted 2021-05-07

我在S3上有嵌套JSON格式的数据，不断更新。我希望数据在转换后定期将此数据推送到Redshift集群。 AWS Glue可以帮助您配置定期运行，将格式转换为columnar并将其推送到Redshift吗？

答案

AWS Glue ETL可以运行Python脚本，以任何方式转换数据。这里是an example，他们把它们放在一起，通过Relationalize变换展平JSON。