寻找简单的集群配置

Posted 2023-03-04

【中文标题】寻找简单的集群配置

【英文标题】：looking for simple cluster configuration

【发布时间】：2018-06-21 05:57:58

【问题描述】：

我正在使用计算引擎进行令人尴尬的并行科学计算。我的一些计算需要单核，一些需要 64 核机器。我目前正在使用我自己的脚本：我有一个类似 qsub 的命令，它创建一个具有所需核心数量的新实例，使用预装软件从自定义映像启动它，通过 gcsfuse 连接到存储桶，运行所需的命令，然后在完成后杀死实例。 我真的需要用我自己的脚本来完成所有这些工作，还是有什么工具可以代替？我更愿意为所有管理使用一些现成的工具。 我的使用量波动很大（数百个内核并行运行 3 小时，然后 2 天没有任何反应，等等）。所以我不想要固定大小的机器：我喜欢按分钟计费我的计算。

【参考方案1】：

您可能希望对 Google Compute Engine (GCE) 中的托管实例组使用 auto-scaling 功能。此功能会在负载较多时向您的实例组添加更多实例（升级），并在负载较少时移除实例（缩减）。此外，您可以定义autoscaling policy based upon CPU utilization，或负载均衡器利用率或每秒请求数。请参阅 autoscaler decisions 文档以了解自动缩放器在扩展实例组时可能做出的决策。