正则化

Posted 2021-03-24 kseven77

过拟合问题

导致结果不正确。

解决办法

使( heta)的取值尽量小，已达到曲线平滑。
但当( heta)取值过小会导致欠拟合
改变代价函数
线性回归：
[J( heta)=frac{1}{2m}(sum_{i=1}^{m}({h_ heta(x^i)-y(x^i)})^2+lambdasum_{j=1}^n heta_j^2)]
使用梯度下降迭代
[ heta_0= heta_0-alphafrac1m(h_ heta(x^{(i)})-y^{(i)})x_0^{(i)}]
[ heta_j= heta_j-alpha[frac1m(h_ heta(x^{(i)})-y^{(i)})x_j^{(i)}+fraclambda m heta_j]]
( heta_j变形)
[ heta_j= heta_j(1-fraclambda m heta_j)-alphafrac1m(h_ heta(x^{(i)})-y^{(i)})x_j^{(i)}]

使用正则化公式
[ heta=left(X^TX+lambda left[ egin{matrix} 0 & 1 & &1 &&&ddots&&&&1 end{matrix} ight] ight)^{-1}X^Ty]

其中
[X=egin{bmatrix} x(1)^Tx(2)^Tvdotsx(m)^T end{bmatrix} ,y=egin{bmatrix} y(1) y(2) vdotsy(m) end{bmatrix}]
[X为m*(n+1)的矩阵，y为m维向量]
logistic回归：
与线性回归相同，但是(h_ heta(X))定义不同。