用于将数据从AWS S3加载到Redshift的Python脚本

Posted 2023-01-18

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了用于将数据从AWS S3加载到Redshift的Python脚本相关的知识，希望对你有一定的参考价值。

有没有人致力于创建一个python脚本来将数据从s3加载到多个文件的redshift表。我们如何在AWS CLI中实现它。您对此的学习和投入表示赞赏。

答案

COPY command是将数据从Amazon S3加载到Amazon Redshift的最佳方式。它可以将多个文件并行加载到一个表中。

使用任何Python库（例如PostgreSQL + Python | Psycopg）连接到Amazon Redshift，然后发出COPY命令。

AWS Command-Line Interface (CLI)无法在Redshift上运行COPY命令，因为它需要发布到数据库，而AWS CLI会向AWS发出命令。（AWS CLI可用于启动/终止Redshift群集，但不能连接到群集本身。）

以上是关于用于将数据从AWS S3加载到Redshift的Python脚本的主要内容，如果未能解决你的问题，请参考以下文章