AWS Glue 作业失败：调用 o71.getDynamicFrame..SdkClientException 时发生错误：无法执行 HTTP 请求：Connect .s3..connect 超时

Posted 2023-03-30

【中文标题】AWS Glue 作业失败：调用 o71.getDynamicFrame..SdkClientException 时发生错误：无法执行 HTTP 请求：Connect .s3..connect 超时

【英文标题】：AWS Glue Job Failed: An error occurred calling o71.getDynamicFrame..SdkClientException: Unable to execute HTTP request: Connect .s3..connect timed out

【发布时间】：2021-10-14 19:33:29

【问题描述】：

我正在尝试创建一个简单的 Glue 作业以将数据从 S3 移动到我的 Redshift 集群以进行测试，但出现以下错误。调用 o71.getDynamicFrame 时出错。 com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.SdkClientException：无法执行 HTTP 请求：连接到 .s3.amazonaws.com [。 s3.amazonaws.com/***] 失败：连接超时。

到 S3 和 Redshift 的爬虫以及 Redshift 连接都已成功运行。我正在使用一个角色，该角色具有 AmazonS3FullAccess、AWSGlueServiceRole 和 AmazonRedshiftFullAccess。我还有一个 S3 终端节点，我的 VPC 有一个安全组，可以自行授予权限。

对这个错误的含义和解决方案有什么帮助吗？

谢谢

【参考方案1】：

我上次遇到这种情况是因为我将作业部署到公共子网。由于胶水作业只有一个私有 IP 地址，它无法路由到互联网网关。不过，将作业部署到私有子网，并使用到 NAT 网关的路由，仍然有效。