如何估算 Amazon EMR 中的实例数量？

Posted 2023-04-17

【中文标题】如何估算 Amazon EMR 中的实例数量？

【英文标题】：How to estimate the number of instances in Amazon EMR?

【发布时间】：2013-07-02 20:45:35

【问题描述】：

我有一个要在 Amazon EMR 上运行的 map-reduce 作业。我想拥有多达 400 个映射器和缩减器，并且我想使用中型或大型实例。如何估计我需要的实例数。

此外，如果一个工作在 2 分钟内结束，比如说，我运行另一个需要 4 分钟的工作，我会被收取 2 小时的费用还是被视为 1 小时？

【问题讨论】：

你是如何计算mappers/reducers的数量的？你真的会得到mappers=400=reducers的好处吗？这取决于你的处理需求。我根本没有得到你问题的第二部分。

【参考方案1】：

我知道如果您使用 CLI 工具创建您的作业流程并添加步骤，那么您可以在同一个作业流程上依次运行这两个步骤，它们将在同一小时内计算在内。

我相信如果您使用 GUI，那么您将无法重复使用工作流程，因此您可能会为每项工作收取一小时的费用。虽然我没有尝试过，所以那里可能是错误的。

查看这篇文章，这是我获得信息的地方：

https://cwiki.apache.org/confluence/display/MAHOUT/Mahout+on+Elastic+MapReduce