超参数与模型验证

Posted 2021-03-04 nuochengze

参考url:

 

1、什么是模型验证

　　　　模型验证（model validation），即在选择模型和超参数之后，通过对训练数据进行学习，对比模型对已知数据的预测值与实际值的差异。

　　　　1、错误的模型验证方法

　　　　　　

 

　　　　2、模型验证正确方法：留出集

　　　　　　先从训练模型的数据中留出一部分，然后用这部分留出来的数据来检验模型性能。

　　　　　　

 

 　　　　3、交叉验证

　　　　　　做一组拟合，让数据的每个子集既是训练集，又是验证集。

　　　　　　

 

 　　　　　　每次只有一个样本做测试，其他样本全用于训练，这种交叉检验类型称为LOO（leave-one-out，只留一个）交叉验证，可以从model_selection模块导入LeaveOneOut

2、选择最优模型

　　　　1、偏差与方差的均衡

　　　　　　‘最优模型‘的问题基本可以看成是找出偏差与方差平衡点的问题。

　　　　　　

 

　　　　　　分数R^2称为判定系数，用来衡量模型与目标值均值的对比结果。

　　　　　　R^2=1表示模型与数据完全吻合，R^2=0表示模型不比简单取均值好，R^2为负表示模型性能很差。

　　　　　　从这两个模型的得分

3、学习曲线

4、验证实践：网格搜索

 

------------恢复内容结束------------