验证曲线（ validation curve）是什么？如何绘制验证曲线（ validation curve）？验证曲线（ validation curve）详解及实践

Posted 2021-05-18 Data+Science+Insight

验证曲线（ validation curve）是什么？如何绘制验证曲线（ validation curve）？验证曲线（ validation curve）详解及实践

验证曲线（ validation curve）和学习曲线（learning curve）有什么区别？

验证曲线（ validation curve）就是只设置了一个超参数的GridSearchCV或者RandomSearchCV、所以GridSearchCV或者RandomSearchCV就是验证曲线的升级版本。

 

验证曲线的横坐标是超参数的取值范围、而学习曲线的横坐标的取值为样本量的变化，that\'s it.

从验证曲线上可以观察在一个较宽的范围内，模型从欠拟合到过拟合的过程并基于此曲线选出最佳的核心超参数。如果达不到预期，那么就有可能需要其他参数寻优方法、例如，GridSearchCV或者hyperopt等高阶方案。

需要注意的是如果我们使用验证分数来优化超参数，那么该验证分数是有偏差的，它无法再代表模型的泛化能力，我们就需要使用其他测试集来重新评估模型的泛化能力。