机器学习---正则化

Posted gaona666

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习---正则化相关的知识,希望对你有一定的参考价值。

正则化的目的是为了防止过拟合,降低模型的复杂度。

正则化的打开方式:

在目标函数后面添加一个系数的“惩罚项”。

 

技术图片

 

式中, 技术图片 是一个常数, 技术图片 为样本个数, 技术图片 是一个超参数,用于控制正则化程度。

 

1、L1正则化:在目标函数后面加了所有特征系数的绝对值之和。L1正则化更适用于特征选择,每次更新过程中会减去或加上一个常数,容易产生特征系数为 0 的情况,因此会让特征变得稀疏。

技术图片

 

2、L2正则化: 在目标函数后加上了所有特征系数的平方和。L2正则化更适用于防止模型过拟合,每次更新时对特征系数进行一个比例的缩放,这会让系数趋向变小而不会变为 0,因此L2正则化会让模型变得更简单,防止过拟合,而不会起到特征选择的作用。

 技术图片

 

 3、dropout:每一次的迭代中都会随机删除,只训练剩下的节点,每次迭代删除的节点不一样,相当于每次迭代训练的都是不一样的网络。

设置一个超参数 keep_prob,比如将 keep_prob 设置为 0.7,那么就会随机30%的节点消失,消失这个动作其实很简单,只是将这一层的参数矩阵与根据 keep_prob 生成的 {0, 1} 矩阵做 逐点乘积,

 https://www.jianshu.com/p/569efedf6985

以上是关于机器学习---正则化的主要内容,如果未能解决你的问题,请参考以下文章

机器学习正则化(L1正则化L2正则化)

机器学习中L1,L2正则化项

机器学习中的数学原理——过拟合正则化与惩罚函数

机器学习---正则化

机器学习---正则化

为啥 L1 正则化在机器学习中起作用