调参,正则化

Posted yttas

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了调参,正则化相关的知识,希望对你有一定的参考价值。

1.数据集的划分:

训练集(train),

交叉验证集(dev):用来选取最好的模型,选择最好的算法(需要验证的可能是很多个算法)

测试集(test):用来评估

有时候不需要无偏估计的时候,就只需要训练集和验证集

确保dev ,train来自同一个分布

划分:70%train dev 30%test 百万数据;或者60%,20%,20%(小数据的划分)过百万数据

  大数据时代:验证集和测试集占比要减小:98%,1%,1%;99.,5%,0.4%,0.1%;99.,5%,0.25%,0.25%

 

技术分享图片

2.偏差方差的均衡

  衡量指标:

 

以上是关于调参,正则化的主要内容,如果未能解决你的问题,请参考以下文章

机器学习正则化(L1正则化L2正则化)

L1正则化和L2正则化

L1、L2正则化

L1/L2正则化方法

L1、L2正则化知识详解

正则化项L1和L2的直观理解及L1不可导处理