请求 AWS Spot 实例最佳实践?

Posted

技术标签:

【中文标题】请求 AWS Spot 实例最佳实践?【英文标题】:Requesting AWS Spot Instances best practices? 【发布时间】:2020-07-07 21:59:41 【问题描述】:

是否有人对使用 EC2 现货实例启动 EMR 集群的最有效方法有任何指导?我使用的是 10 节点 r5d.8xlarge(1 个主 9 核),通常我会克隆一个先前的实例。经常发生的事情是我会收到“容量不足”错误。发生这种情况时,我更改子网并重试。在这一点上,这真的是一场猜谜游戏,我确信有更好的方法来做到这一点,不幸的是我还没有找到。

【问题讨论】:

【参考方案1】:

它没有必要成为一个猜谜游戏。可以使用Instance Fleets - Amazon EMR指定多个:

实例类型

对于每个队列,您最多可以指定五个 EC2 实例类型。亚马逊电子病历 选择这些 EC2 实例类型的任意组合来满足您的需求 目标容量。

可用区

当您使用实例队列时,您可以指定多个 EC2 子网 在一个 VPC 中,每个对应一个不同的可用区。 实例始终只配置在一个可用区中。

另见:New – Amazon EMR Instance Fleets | AWS News Blog

【讨论】:

以上是关于请求 AWS Spot 实例最佳实践?的主要内容,如果未能解决你的问题,请参考以下文章

最佳实践:带文件处理的 AWS ftp

持续集成:使用 AWS Cloudformation+OpsWorks 在新创建的 EC2 实例上运行 Jenkins Build,最佳实践是啥?

AWS EC2-Instance 备份/终止/启动的最佳实践是啥

在 AWS ec2 实例上部署 Node Express 应用程序和 php 应用程序的最佳实践

AWS Elastic Beanstalk 权限的最佳实践

在 gitlab CI/CD 中使用 GOOGLE_APPLICATION_CREDENTIALS 的最佳实践