1月论文推荐：Hyper-Tune 满足大规模高效分布式自动超参数调整的 SOTA 架构

Posted 2022-01-22 deephub

为了提高机器学习应用程序的效率和质量，工业规模机器学习模型不断增加的复杂性刺激了对自动超参数调整方法的研究， 尽管自动超参数调整现是许多数据系统的重要组成部分，但最先进方法的有限可扩展性已成为瓶颈。

为了解决这个问题，北京大学、苏黎世联邦理工学院和快手科技的研究团队提出了 Hyper-Tune，这是一种高效、健壮的分布式超参数调优框架，具有自动资源分配、异步调度和多保真优化器等系统优化插件。在评估中，Hyper-Tune 在广泛的调优任务中实现了最先进的性能。

论文将他们的主要贡献总结为：

• 我们提出了 Hyper-Tune，一种高效的分布式自动超参数调整框架。
• 我们对公开可用的基准数据集和生产中的大规模真实世界数据集进行了广泛的实证评估。

Hyper-Tune 框架包含三个核心组件：资源分配器、评估调度器和通用优化器。

完整文章

https://www.overfit.cn/post/3b73253b1ff9412d8326fc1154d6c558