从充满 CSV 文件的 AWS S3 目录中复制 Redshift

Posted 2023-03-31

【中文标题】从充满 CSV 文件的 AWS S3 目录中复制 Redshift

【英文标题】：Redshift COPY from AWS S3 directory full of CSV files

【发布时间】：2020-06-05 07:38:40

【问题描述】：

我正在尝试在 Redshift 中执行 COPY 查询，以加载存储在 AWS S3 路径中的不同 .csv 文件（比如说s3://bucket/path/csv/）。该路径中的 .csv 文件在其文件名中包含一个日期（即：s3://bucket/path/csv/file_20200605.csv、s3://bucket/path/csv/file_20200604.csv、...），因为其中的数据对应于特定日期的数据。我的问题是（因为加载文件的顺序很重要），Redshift 会按字母顺序加载这些文件吗？

【参考方案1】：

COPY 命令利用 Amazon Redshift 大规模并行处理 (MPP) 架构从 Amazon S3 存储桶中的文件中并行读取和加载数据。

关于您的问题，文件将并行加载。