python中算法(sklearn)的最优超参数寻优：skopt贝叶斯搜索

Posted 2021-09-06 Data+Science+Insight

python中算法(sklearn)的最优超参数寻优：skopt贝叶斯搜索

Jeff Dean在ICML 2019上进行了有关AutoML的演讲，并将自动化分为4个级别

1. 手动构造预测变量，不引入学习的步骤；
2. 手工选择特征，学习预测。引入自动化超参数调优（HPO）工具，例如Hyperopt，Optuna，SMAC3，scikit-optimize等；
3. 手工构造算法，端到端学习特征和预测。除了HPO外，还有其他一些工具，例如featuretools，tsfresh，boruta等；
4. 完全自动化。端到端学习算法，特征和预测。自动化算法（模型）选择工具，例如Auto-sklearn，TPOT，H2O，auto_ml，MLBox等。

参数自动优化的两种方法

广泛使用的优化方法有两种，一种是贝叶斯优化方法，它基于过去的结果搜索未知参数范围。典型的算法有TPE，SMAC，GP-EL等。

Grid Search对每种超参数组合都是独立计算的，当次计算不会利用之间计算得到的信息，这就造成了计算的浪费。而贝叶斯优化算法则利用了之间轮计算的信息对之后的超参选择给出指导