9月5日 正则化总结笔记

Posted 2020-10-05

---恢复内容开始---

学习正则化 一下知识需要全部掌握：

　　1.线性回归

　　2.逻辑回归

接下来的笔记中，将假设上面的基础知识全部掌握的程度讲解：

　　学习 正则化 首先 我们需要知道为什么学习正则化！ 无论是我们在进行线性拟合 还是逻辑拟合的时候，都会发生以下三种情况：

　　.

　　根据图可以看到3中情况，我们来说明以下这三种情况

　　1.欠拟合，这里拟合的一条 方程 看起来并没有更好的契合我们所给的训练集，  因此 这样的 一个方程 对我们之后 正常使用时 ， 预测产生的误差会非常之大

　　2.正好的拟合， 这个拟合 就看起来是恰到好处

　　3.过渡拟合，之后，我们用到的成品是用来预测数据的，这也是人工智能所实现的一种形式，如果过渡的拟合数据的话， 就会因为之后出现的我们做出的预测偏差放大

 

　　

　　根据我们的数学经验可以得出   X 的 次数 越大，那么拟合程度也就越大       从而 预测的能力也就越差

　　就这样我们就将降低拟合度的问题 转换成了 让   X的次数变小 ，从而来达到降低拟合度的问题

 

　　因此我们的问题 最终转换为   正则化-->改善拟合度-->减少特征的次数（降低高次特征的权重） 

　　

　　以线性回归为例：

　　模型：

 

　　使高次的系数降低，高次项的权重减少，影响减少，过渡拟合的问题也就解决了

　　|

　　| 转化之后的代价函数

　　

　　

　　

 

 

 

 

 

 

 

---恢复内容结束---