无法通过 cloudformation 创建具有自动缩放功能的 AWS EMR

Posted

技术标签:

【中文标题】无法通过 cloudformation 创建具有自动缩放功能的 AWS EMR【英文标题】:Cannot create AWS EMR with autoscaling via cloudformation 【发布时间】:2017-07-29 02:08:22 【问题描述】:

我正在开发具有自动缩放功能的 EMR 模板。 虽然带有实例组的静态 EMR 设置工作正常,但我无法附加

AWS::ApplicationAutoScaling::ScalableTarget

作为故障排除,我已将模板拆分为 2 个单独的模板。首先,我正在创建一个普通的 EMR 集群(这很好)。然后在第二个我有一个 ScalableTarget 定义失败附加错误:

11:29:34 UTC+0100 CREATE_FAILED AWS::ApplicationAutoScaling::ScalableTarget AutoscalingTarget EMR instance group doesn't exist: Failed to find Cluster XXXXXXX

有趣的是,这个集群确实存在。 我还查看了 IAM 角色,但那里似乎一切正常......

任何人都可以就这件事提出建议吗? 有人让 Autoscaling instancegroup 通过 Cloudformation 工作吗?

【问题讨论】:

【参考方案1】:

我已经尝试向 AWS 提出请求。使用 CloudFormation 时,此自动缩放功能尚不可用。现在我使用 CF 创建自定义 EMR SecGrp 和 S3 等,在输出选项卡中,我正在添加命令行命令(aws emr create-cluster......)。获得输出后查询结果以启动集群。

实际上,可以在集群启动时使用 --auto-scaling-role 启用自动缩放。如果我们将 CF 用于 EMR,则无法使用自动缩放功能,因为它会在没有“--auto-scaling-role”的情况下启动集群。

我希望这可以有用...

【讨论】:

您是否有指向 AWS 请求的链接?跟踪状态会很好

以上是关于无法通过 cloudformation 创建具有自动缩放功能的 AWS EMR的主要内容,如果未能解决你的问题,请参考以下文章

当自定义命名资源需要替换时,CloudFormation 无法更新堆栈

使用 Cloudformation 创建具有复合主键的 DynamoDB

无法通过 cloudformation yaml 创建 AWS::ECS::Service,模型验证失败

如何下载通过CloudFormation创建的IoT证书?

通过 cloudformation 为 fargate 启动类型任务创建 cloudwatch 事件规则的“目标”

尝试通过 Cloudformation 创建 AWS API 网关时出错