线性回归

Posted 2022-08-26 xcxy-boke

基本形式：

　　　　$f(x_i)=W^TX_i + b$，使得$f(x_i) \\approx y_i$

最小二乘估计：

　　　　$\\widehatw^*= \\underset\\widehatwarg min(y - X\\widehatw)^T(y - X\\widehatw)$

令$E_\\widehatw=(y - X\\widehatw)^T(y - X\\widehatw)$对$\\widehatw$其求导：

　　　　$\\frac\\partial E_\\widehatw\\partial x=2 X^T(X\\widehatw-y)$

如果$X^TX$为满秩矩阵或正定矩阵时，令上式为0：

　　　　$\\widehatw^*=(X^TX)^-1X^Ty$

　　　　

logistic回归：把x映射到0-1范围内。

　　　　$y=\\frac11+e^-z$  （sigmoid函数）

　　　　$ln\\fracy1-y=w^Tx+b$

确定w和b：

　　　　$ln\\fracp(y=1|x)p(y=0|x)=w^Tx+b$

显然有：

　　　　$p(y=1|x) = \\frace^w^Tx+b1+e^w^Tx+b$

　　　　$p(y=0|x) = \\frac11+e^w^Tx+b$

通过极大似然法：

最大化：

　　　　$\\iota (w,b)=\\sum_i=1^m ln(p(y_i|x_i;w,b))$　　　　

因为$p(y_i|x_i;w,b)=y_iP_1(\\widehatx_i;\\beta )+(1-y_iP_0(\\widehatx_i;\\beta ))$，所以等价于最小化：

　　　　$\\iota (\\beta )=\\sum_i=1^m (-y_i\\beta^Tx_i + ln(1+e^\\beta^Tx_i))$  （把常数去掉）

牛顿法：

　　　　$\\beta^t+1=\\beta^t-(\\frac\\partial^2 \\iota (\\beta)\\partial \\beta \\partial \\beta^T)^-1\\frac\\partial \\iota (\\beta)\\partial \\beta$