正则化方法:L1和L2 regularization数据集扩增dropout

Posted guodavid

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了正则化方法:L1和L2 regularization数据集扩增dropout相关的知识,希望对你有一定的参考价值。

正则化方法:防止过拟合,提高泛化能力

避免过拟合的方法有很多:Early stopping、数据集扩增(Data augmentation)、正则化(Regularization)包括L1、L2(L2 regularization也叫weight decay),dropout。

L2 regularization(权重衰减)

L2正则化就是在代价函数后面再加上一个正则化项:

技术分享图片

L2正则化项:所有参数w的平方的和,除以训练集的样本大小n

L1 regularization

在原始的代价函数后面加上一个L1正则化项,即所有权重w的绝对值的和,乘以λ/n(这里不像L2正则化项那样,需要再乘以1/2)

技术分享图片

Dropout

L1、L2正则化是通过修改代价函数来实现的,而Dropout则是通过修改神经网络本身来实现的,它是在训练网络时用的一种技巧(trike)

随机地“删除”一些的隐层单元,视它们为不存在

数据集扩增(data augmentation)

可以在原始数据上做些改动,得到更多的数据

以图片数据集举例,可以做各种变换,如:

将原始图片旋转一个小角度

添加随机噪声

一些有弹性的畸变(elastic distortions),论文《Best practices for convolutional neural networks applied to visual document analysis》对MNIST做了各种变种扩增。

截取(crop)原始图片的一部分。比如DeepID中,从一副人脸图中,截取出了100个小patch作为训练数据,极大地增加了数据集。感兴趣的可以看《Deep learning face representation from predicting 10,000 classes》.



以上是关于正则化方法:L1和L2 regularization数据集扩增dropout的主要内容,如果未能解决你的问题,请参考以下文章

正则化方法:L1和L2 regularization数据集扩增dropout

L1正则化和L2正则化的区别

L1与L2正则化

正则化项L1和L2的直观理解及L1不可导处理

正则化方法:L1和L2 regularization数据集扩增dropout

L1正则化和L2正则化