AWS 数据管道。 EC2Resource 无法访问红移

Posted

技术标签:

【中文标题】AWS 数据管道。 EC2Resource 无法访问红移【英文标题】:AWS Data Pipeline. EC2Resource not able to access redshift 【发布时间】:2018-01-22 06:33:28 【问题描述】:

我第一次使用 AWS Data Pipeline 在 redshift 上执行 SQL 查询,这可能涉及(创建/删除表)。 创建了一个 SQL 活动,该活动“运行在”作为数据管道的一部分创建的 EC2 实例和具有适当凭据的带数据库节点的 Redshift。

但是在运行管道时,EC2 无法访问 redshift 数据库。抛出的错误如下:

Unable to establish connection to jdbc:postgresql://xxxxx/yyyy Connection refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections.

可能是因为 EC2 的“ResourceRole”参数设置为 DataPipelineDefaultResource 并且 IAM 角色可能没有访问 Redshift DB 的正确权限。

如果这是导致此问题的根本原因或可能有其他原因,那么正确的 IAM 角色是什么。

【问题讨论】:

你是怎么解决这个问题的?我现在陷入了这个特定的错误。 使用 SQLActivity 节点而不是 EC2Resource 可以直接提供 SQL 查询。 【参考方案1】:

您可以使用普通客户端连接到集群吗?如果不能,那么很可能 Redshift 集群上不允许有入口。也许this 可能会有所帮助

【讨论】:

以上是关于AWS 数据管道。 EC2Resource 无法访问红移的主要内容,如果未能解决你的问题,请参考以下文章

AWS CodePipeline 无法访问组织的存储库

RDS 实例之间的 AWS 数据管道 (MySQL)

使用 boto 为 RedShiftCopyActivity 创建 AWS 数据管道

AWS 数据管道; RedshiftLoadCopy 失败;架构错误

AWS 数据管道 Dynamodb 到 Redshift

覆盖现有插入模式如何在 aws 数据管道的 redshiftcopyactivity 中工作