有没有办法将数据从 redshift 加载到 HDFS？

Posted 2023-03-30

【中文标题】有没有办法将数据从 redshift 加载到 HDFS？

【英文标题】：Is there a way to load data to HDFS from redshift?

【发布时间】：2020-08-08 09:16:51

【问题描述】：

在加载到 redshift 时，我使用 sqoop dfs 将数据从 HDFS 加载到 S3，然后使用复制命令将数据加载到 redshift。

##
sqoop import -Dfs.s3.awsAccessKeyId= +awsAccessKeyId+ -Dfs.s3.awsSecretAccessKey= +awsSecretAccessKey+ -Dfs.s3.endpoint= +endpoint+ --connect  + jdbc_url +  --username= + user_id + --password= + decrypt_pwd +  --target-dir  + s3_path +

如何将数据从 redshift 带回 HDFS？

【问题讨论】：

请添加更多示例，说明您迄今为止尝试过的方法以及为什么没有奏效。

sqoop export?

【参考方案1】：

将数据从 Redshift 卸载到 s3。 使用 sqoop/distcp 将数据从 s3 复制到 hdfs。