训练中的基础技巧(数据处理,验证集设置,参数处理)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了训练中的基础技巧(数据处理,验证集设置,参数处理)相关的知识,希望对你有一定的参考价值。

训练中的基础技巧(数据处理,验证集设置,参数处理)

首先,对于数据
我们需要统一其量纲。通用的做法是数据标准化。
就是让一个样本内的均值为0,不同样本类内方差尽量一致
然后就是为标签做one-hot encoding



对于权重
1.随机初始化
2.均值为0,且尽量不同意义的权重间尽量有一致的方差

这是因为初始化对最后的结果实际上很重要,如果我们有机器学习基础,我们就知道。而对于神经网络这样一个较复杂的模型,我们并不知道初始化在哪里比较合适,我们想尽量避免初始化对模型产生较大影响,就采用随机初始化的方法较为合适。
而均值为0的道理,还记得我们之前解析神经网络中的激励函数嘛,如果采用sigmoid这样的函数,均值偏大或者偏小都会导致更新较慢。

1.梯度方向往往受到解平面某点附近的变化趋势影响,不见得会向着目标局部极小值收敛。所以在我们训练过程中会出现错误率是螺旋式下降的。那么对于这个问题,我们可以这样子解决。让
新的梯度方向=0.9×前一个梯度方向+0.1新的梯度方向
得到新的梯度方向。当然这个参数是可以变的

 

2.而学习速率这里我们直接上一张图
技术分享

可以看到,虽然大的学习速率比小的更快收敛,但是大的也更加快地到达了‘平原区域’
这是因为学习速率高很可能进不去小的‘坑’,而小坑下面连接的可能是更低的谷底
所以小的学习速率总是可以在最终收敛结果上比大的要好。但是如果一直采用小学习速率,在一开始的下降过程又太慢了。这时候我们想要学习率在step增加时逐渐减小。

我以上说的这两点被总结起来叫做AdaGD,自适应梯度下降。tf中为我们提供的就是它,所以我们不需要关心学习速率和梯度方向的问题。当然,如果到很熟练需要定制的最优化方法时,可以去改动。但目前还用不到。

对于训练集、验证集、测试集
我这里的观点是,在参加竞赛之类的不需要我们自己设置测试集,而发paper时需要设置小部分测试集。

我以上说的这两点被总结起来叫做AdaGD,自适应梯度下降。tf中为我们提供的就是它,所以我们不需要关心学习速率和梯度方向的问题。当然,如果到很熟练需要定制的最优化方法时,可以去改动。但目前还用不到。

对于训练集、验证集、测试集
我这里的观点是,在参加竞赛之类的不需要我们自己设置测试集,而发paper时需要设置小部分测试集。

 

以上是关于训练中的基础技巧(数据处理,验证集设置,参数处理)的主要内容,如果未能解决你的问题,请参考以下文章

PyTorch+sklearn划分训练集/验证集

技巧 - 训练集与测试集划分方法

交叉验证

交叉验证(Cross Validation)原理小结

机器学习基础:(Python)训练集测试集分割与交叉验证

深度学习基于卷积神经网络的验证码识别