打开/关闭 AWS EMR 集群

Posted 2023-04-17

【中文标题】打开/关闭 AWS EMR 集群

【英文标题】：Turn on/off AWS EMR clusters

【发布时间】：2021-10-28 18:23:55

【问题描述】：

如何打开/关闭 EMR 集群？只有一种可能永久终止。如果我在晚上不需要集群并且不想每天早上都创建一个新集群怎么办？

【问题讨论】：

创建、使用、终止、创建、使用、终止、创建、使用、终止……没有办法暂停/暂停。

【参考方案1】：

你不能这样做。不支持停止 EMR 集群。您只需在不需要时终止它。

为了保护您的数据，您应该使用EMRFS，它允许 EMR 集群从 S3 读取数据。这样，就无需将任何数据从 S3 复制到 HDFS。

【参考方案2】：

您可以启用 EMR UI 中可用的纵向扩展/缩减策略，并根据多个指标（即 ram\cpu 利用率）调整集群大小。您还可以创建将通过 awscli 发送到 EMR scale up\scale down 命令的外部作业，并且您可以安排此类作业在早上和晚上运行。 根据我的经验，调整大小在任务节点上效果很好，而调整核心节点的大小需要 HDFS 同步，只有当您不在 EMR 上运行任何任务时才有效。