DataProc Presto 会自动拾取新节点吗？

Posted 2023-03-04

【中文标题】DataProc Presto 会自动拾取新节点吗？

【英文标题】：Will DataProc Presto pick up new nodes automatically?

【发布时间】：2019-09-27 18:31:11

【问题描述】：

我有一个装有 10 个节点和 Presto 的 DataProc 集群。集群的Autoscaling功能开启。我想知道当 Presto 运行并且集群扩展时，Presto 是否能够自动拾取和使用额外的节点？我没有从 Google 的文档中找到答案。

我担心的是我需要手动重启 Presto，这违背了自动缩放的目的。我希望集群和自动缩放在 presto 时获得更大的工作。

【问题讨论】：

Presto 可以在运行时添加节点（在某些情况下添加到现有查询中），所以我希望它能够工作。我只是尝试一下，看看会发生什么。

【参考方案1】：

随着集群的扩展，Presto 会自动选择新节点。

但是，请注意，Dataproc 自动扩缩当前仅支持基于 YARN 指标的扩缩（请参阅docs）。您的集群不会根据 Presto 查询负载自动扩展，而是根据 YARN 上的负载。