机器学习调参与贝叶斯优化及其典型python实现hyperopt

Posted 2021-05-18 Data+Science+Insight

机器学习调参与贝叶斯优化及其典型python实现hyperopt

 

hyperopt的详细实施参考笔者的如下文章：

使用hyperopt（Bayesian optimization）为lightGBM模型挑选最优参数进行模型构建、by Cross Validation

 

机器学习中，调参是一项繁琐但至关重要的任务，因为它很大程度上影响了算法的性能。手动调参十分耗时，网格搜索和随机搜索不需要人力，但需要很长的运行时间。因此，诞生了许多自动调整超参数的方法，例如遗传算法、粒子群优化、贝叶斯优化等。

找优良的超参数通常需要解决这两个问题：
1.如何高效地搜索可能的超参数空间，实践中至少会有一些超参数相互影响。
2.如何管理调参的一系列大型试验。

 

什么是超参数？

超参数是指模型在训练过程中并不能直接从数据学到的参数， 通常定义模型属性或者定义训练过程的参数，都是超参数。例如我们定义一个神经网络模型有9527层网络并且都用